斯坦福机器学习Coursera课程:第五次作业--正则多项式回归和误差分析

本次作业主要是实现正则化多项式回归，画出训练误差和交叉测试误差随训练用例数量变化的曲线，分析高偏差和高方差的影响因素，最后画出的取值变化对误差的影响曲线。

主要函数文件如下 ，需要实现最后4个带*文件的函数。

ex5.m - Octave/MATLAB script that steps you through the exercise
ex5data1.mat - Dataset
submit.m - Submission script that sends your solutions to our servers
featureNormalize.m - Feature normalization function
fmincg.m - Function minimization routine (similar to fminunc)
plotFit.m - Plot a polynomial t
trainLinearReg.m - Trains linear regression using your cost function
[*] linearRegCostFunction.m - Regularized linear regression cost func-
tion
[*] learningCurve.m - Generates a learning curve
[*] polyFeatures.m - Maps data into polynomial feature space
[*] validationCurve.m - Generates a cross validation curve

ext5data1文件中的数据集分为三部分：

X表示水库中水位的变化，y表示水坝放水量

Xval，yval表示交叉测试集中对应的量

Xtest, ytest表示测试集中对应的量。

1. 加载和可视化数据后(原程序只画X/y的，我们作了增加)，我们可以知道X/y, Xval/yval, Xtest/ytest分别是12*1, 21*1,21*1的向量，图形如下：

2. 正则化线性回归线代价函数并计算梯度

这个比较简单，和前面作业中的基本一样，linearRegCostFunction.m中套用公式即可。

J=(X*theta-y)'*(X*theta-y)/2/m+lambda*(theta(2:end,1)')*theta(2:end,1)/2/m;  
grad(1,1)=1/m*X(:,1)'*(X*theta-y);  
grad(2:end,1)=1/m*X(:,2:end)'*(X*theta-y)+lambda/m*theta(2:end,1);

结果和预期相当：

Cost at theta = [1 ; 1]: 303.993192
(this value should be about 303.993192)
Program paused. Press enter to continue.
Gradient at theta = [1 ; 1]:  [-15.303016; 598.250744]
(this value should be about [-15.303016; 598.250744])

3. 不带正则化的线性拟合，即训练并画出拟合曲线

对2中代价函数和梯度不断迭代得到优化值。图中可以看出，测试集数据不具有线性特征，用线性回归线时出现高偏差，属于欠拟合。

5. 线性回归线的学习曲线 (实现learningCurve.m中的函数)

学习曲线即是训练集和交叉验证集的误差与训练集size关系的函数曲线。

迭代中训练集size逐渐增加，对应的数据为X(1:i, :) and y(1:i) ( i=1:m, m为训练集X的大小)，计算误差时也以参加训练的数据来计算；而交叉验证集则以全集来参与和计算。

根据每次计算的theta值，对训练集和交叉验证集分别计算误差并保存在error_train, error_val向量中。

% Hint: You can loop over the examples with the following:
%
%       for i = 1:m
%           % Compute train/cross validation errors using training examples 
%           % X(1:i, :) and y(1:i), storing the result in 
%           % error_train(i) and error_val(i)
%           ....
%           
%       end
%
% ---------------------- Sample Solution ----------------------
for i=1:m  
    [theta] = trainLinearReg([ones(i, 1) X(1:i,:)], y(1:i,:), lambda);  
    error_train(i,1)=linearRegCostFunction([ones(i,1) X(1:i,:)], y(1:i,:), theta,0);  
    error_val(i,1)=linearRegCostFunction([ones(size(Xval,1),1) Xval],yval, theta,0);  
end 

e.g. i=3时，[ones(3,1) X(1:3,:)]
ans =
    1.0000  -15.9368
    1.0000  -29.1530
    1.0000   36.1895

曲线中很显示可以看出，本次中线性回归出现的高偏差问题，依靠增加测试集大小对误差的改善没什么效果。结合前篇“机器学习算法的效果评估和优化方法"的结论和建议，此时需要增加特征，增加多项式特征，减小归一化程度参数lambda，本便中数据只能增加多项式特征来改善。

6. 多项式回归线的特征映射

示例中p=8，即8阶多项式回归。需要完成polyFeatures.m 文件中的函数。

X_poly = zeros(numel(X), p);  
for i=1:numel(X)  
    for j=1:p  
        X_poly(i,j)=X(i).^j;  
    end  
end 

numel(X)将返回X中的元素数，zeros(numel(X),p)将构建元素为0、大小为12*8的矩阵。

阶数高后，需要对元素做特征缩放即归一化处理featureNormalize.m中有实现，知道有这步调用即可，不需要额外实现。

归一化后X为：Normalized Training Example All:
  1.000000    -0.362141    -0.755087    0.182226    -0.706190    0.306618    -0.590878    0.344516    -0.508481
  1.000000    -0.803205    0.001258    -0.247937    -0.327023    0.093396    -0.435818    0.255416    -0.448912
  1.000000    1.377467    0.584827    1.249769    0.245312    0.978360    -0.012156    0.756568    -0.170352
  1.000000    1.420940    0.706647    1.359846    0.395534    1.106162    0.125637    0.871929    -0.059638
  1.000000    -1.434149    1.854000    -2.037163    2.331431    -2.411536    2.602212    -2.645675    2.766085
  1.000000    -0.128687    -0.975969    0.251385    -0.739687    0.316953    -0.594997    0.345812    -0.508955
  1.000000    0.680582    -0.780029    0.340656    -0.711721    0.326509    -0.591790    0.346830    -0.508613
  1.000000    -0.988534    0.451358    -0.601282    0.092917    -0.218473    -0.141608    0.039403    -0.266693
  1.000000    0.216076    -1.074993    0.266275    -0.743369    0.317561    -0.595129    0.345835    -0.508960
  1.000000    -1.311501    1.422806    -1.548121    1.493396    -1.515908    1.388655    -1.368307    1.224144
  1.000000    0.403777    -1.015010    0.273379    -0.741977    0.317742    -0.595098    0.345839    -0.508959
  1.000000    0.929375    -0.419808    0.510968    -0.588624    0.382616    -0.559030    0.361832    -0.500665

7. 多项式回归线的学习曲线 (lambda=0)

左图中略有点问题，红x部分应该有蓝线与之完全重合，明显是过拟合了。

同时，通过右图也能看出来，lambda=0时，随着测试集数量的增加，测试集误差一直为0，交叉验证集的误差一直较大，也是过拟合的问题。

8. 选择不同lambda时的验证曲线以确定最佳lambda

validationCurve.m中实现：

lambda_vec = [0 0.001 0.003 0.01 0.03 0.1 0.3 1 3 10]';

for j=1:length(lambda_vec)  
    lambda=lambda_vec(j);      
    [theta] = trainLinearReg(X, y, lambda);  
    error_train(j,1)=linearRegCostFunction(X, y, theta,0);  
    error_val(j,1)=linearRegCostFunction(Xval,yval, theta,0);  
end  

明显，lambda=3时交叉验证集的误差最小。因为测试集和验证集的随机性，交叉验证误差可能略小于测试集误差。