【Machine Learning】【Andrew Ng】- 编程题(Week 6)

1、Regularized linear regression cost function
求cost function和其梯度是为了给求theta做准备，正则化能够避免过拟合。

J = 1/(2*m)*sum((X*theta-y).^2)+lambda/(2*m)*sum(theta(2:end).^2);

2、Regularized linear regression gradient
求cost function和其梯度是为了给求theta做准备。

%%%%%gradient of cost function
grad = 1/m*(X'*(X*theta-y)) + lambda/m*theta;
grad(1) = grad(1) - lamb

3、 Learning curves
画学习曲线是为了查看目前的模型性能，即bias_variance情况，以便于后续调整。学习曲线是以样本数为横坐标，误差为纵坐标的图。画有训练误差和交叉验证误差两条曲线。

note：
a. 公式跟cost function的很像，可以直接利用第一问里求cost function的函数来求，只要令lambda=0就好了；
b. 学习曲线横轴为样本个数，所以X和y取前i个样本来训练theta。注意求训练误差的时候的X和y为当前使用的那些样本，而进行cross validation的样本一直是已知的那些样本。

for i = 1:m
    theta = trainLinearReg(X(1:i,:), y(1:i,:), lambda);
    [error_train(i), grad0] = linearRegCostFunction(X(1:i,:), y(1:i,:), theta, 0);
    [error_val(i), grad0] = linearRegCostFunction(Xval, yval, theta, 0);
end

4、 Polynomial feature mapping
本题是high bias的情况，所以选择通过增加特征数来提高性能。这里选用的是次方特征。线性回归加上特征次方化等同于不同特征（只是这里的不同的特征之间是次方关系）的线性回归。以此来选择合适的特征数。

polyFeatures.m 函数只需要将X矩阵次方化，次数从1-p。

for i=1:p
    X_poly(:,i) = X(:).^i;
end

5、 Validation curve
到现在为止，特征数已定，然后需要确定lambda和theta了。主要思想就是用不同的lambda去训练，求出不同的最优theta，然后用theta去求train_error和cross validation误差，来寻求最优的lambda。

%attention the parameter lambda should be set to 0 when computing error
for i=1:size(lambda_vec,1)
    theta_temp = trainLinearReg(X, y, lambda_vec(i));
    [error_train(i), grad0] = linearRegCostFunction(X, y, theta_temp, 0);
    [error_val(i), grad0] = linearRegCostFunction(Xval, yval, theta_temp, 0);
end