吴恩达机器学习ex5：正则化线性回归和方差与偏差

1、正则化线性回归
1.1、数据集的可视化
训练数据集：X表示水位变化的历史记录，y表示流出大坝的水量；
交叉验证数据集：Xval，yval；
测试数据集：Xtest，ytest；

其中，训练数据集12组，交叉验证数据集21组，测试数据集21组。

1.2、正则化线性回归损失函数

不对theta0进行惩罚，lambda为正则化参数。
补充函数linearRegCostFunction：

J = (X*theta-y)'*(X*theta-y)/(2*m)+...
    (theta'*theta-theta(1)*theta(1))*lambda/(2*m);

计算得到：

J =

  303.9932

1.3、正则化线性回归梯度
梯度计算公式为：

补充函数linearRegCostFunction：

grad = (X*theta-y)'*X(:,2)/m+lambda*theta/m;
grad(1) = (X*theta-y)'*X(:,1)/m;

计算得到：

grad =

  -15.3030
  598.2507

1.4、训练神经网络
使用函数fmincg对神经网络进行训练，得到的theta为

theta =

   1