机器学习（5）：正则线性回归与偏差V.S.方差

在本练习中，您将实现正则线性回归，并使用它来研究具有不同偏差-方差特性的模型。
1、Regularized Linear Regression 正则线性回归
在前半部分的练习中，你将实现正则化线性回归，以预测水库中的水位变化，从而预测大坝流出的水量。在下半部分中，您将通过一些调试学习算法的诊断，并检查偏差 v.s. 方差的影响。
1.1 Visualizing the dataset 可视化数据集
我们将从可视化数据集开始，其中包含水位变化的历史记录，x，以及从大坝流出的水量，y。

这个数据集分为了三个部分：

training set 训练集：训练模型
cross validation set 交叉验证集：选择正则化参数
test set 测试集：评估性能，模型训练中不曾用过的样本

import numpy as np
import matplotlib.pyplot as plt
from scipy.io import loadmat
import scipy.optimize as opt

data=loadmat('ex5data1.mat')#读取矩阵格式的数据集
#数据已经被分成了训练集、交叉验证集、测试集三部分
X=data['X'] #(12,1) 训练集
y=data['y'].flatten() #(12,) 训练集输出变量，并转换为一维数组

Xval=data['Xval']#(21,1) 验证集
yval=data['yval'].flatten()#(21,) 验证集输出变量，并转化为一维数组


Xtest = data['Xtest']#(21,1) 测试集  
ytest = data['ytest'].flatten()#(21,) 测试集输出变量，并转换成一维数

#数据处理
X=np.insert(X,0,1,axis=1) #(12,2) 训练集
Xval=np.insert(Xval,0,1,axis=1) #(21,2) 验证集
Xtest=np.insert(Xtest,0,1,axis=1) #(21,2) 测试集  


# 可视化训练集
def plotData():
    """瞧一瞧数据长啥样"""
    plt.figure(figsize=(8,5))
    plt.scatter(X[:,1:], y, c='r', marker='x')
    plt.xlabel('Change in water level (x)')
    plt.ylabel('Water flowing out of the dam (y)')
    
plotData()

运行结果：

1.2正则线性回归成本函数
回顾一下，正则线性回归具有以下成本函数：

其中λ是一个正则化参数，它控制正则化的程度(因此，有助于防止过度拟合)。模型参数θj增大，惩罚增加。请注意，不应该规范θ0项。

theta=np.ones(X.shape[1]) # (2,)

def costreg(theta,X,y,l):
    cost=((X@theta-y)**2).sum()
    reg=l*(theta[1:]@theta[1:])
    return (cost+reg)/(2*len(X))    
    
theta=np.ones(X.shape[1]) # (2,)
print(costreg(theta,X,y,1)) #303.99319222

1.3 正则线性回归梯度
相应地，正则线性回归代价的偏导