吴恩达机器学习ex5 python实现

这个项目包含了偏差和方差,训练集&验证集&测试集

1 正则化线性回归

1.1 数据可视化

import numpy as np
import scipy.io as sio
import scipy.optimize as opt
import pandas as pd 
import matplotlib.pyplot as plt
import seaborn as sns

读取数据

data=sio.loadmat(r'C:\Users\xxx\Desktop\机器学习\machine-learning-ex5\machine-learning-ex5\ex5\ex5data1.mat')
X,y,Xval,yval,Xtest,ytest=map(np.ravel,[data['X'],data['y'],data['Xval'],data['yval'],data['Xtest'],data['ytest']])
X.shape, y.shape, Xval.shape, yval.shape, Xtest.shape, ytest.shape
((12,), (12,), (21,), (21,), (21,), (21,))

数据可视化

fig,ax=plt.subplots(figsize=(12,8))
ax.scatter(X,y)
ax.set_xlabel('water_level')
ax.set_ylabel('flow')
plt.show()

在这里插入图片描述

1.2正则化线性回归

插入x0

X,Xval,Xtest=[np.insert(x.reshape(x.shape[0],1),0,np.ones(x.shape[0]),axis=1) for x in(X,Xval,Xtest)]
X
array([[  1.        , -15.93675813],
       [  1.        , -29.15297922],
       [  1.        ,  36.18954863],
       [  1.        ,  37.49218733],
       [  1.        , -48.05882945],
       [  1.        ,  -8.94145794],
       [  1.        ,  15.30779289],
       [  1.        , -34.70626581],
       [  1.        ,   1.38915437],
       [  1.        , -44.38375985],
       [  1.        ,   7.01350208],
       [  1.        ,  22.76274892]])

定义两种代价函数

在这里插入图

def cost(theta,X,y):
    m=X.shape[0]
    inner=X@theta-y
    square_sum=inner.T@inner
    cost=square_sum/(2*m)
    
    return cost
def costReg(theta,X,y,reg=1):
    m=X.shape[0]
    regularized_term=((reg/(2*m))*np.power(theta[1:],2)).sum()
    return cost(theta,X,y)+regularized_term
theta=np.ones(X.shape[1])
costReg(theta,X,y,1)
303.9931922202643

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值