1、Multi-class Classification
如果将这个题转换为神经网络,相当于这个模型只有两层:输入层和输出层,输入层由400个神经元(像素)组成,输出层由10个神经元组成,输出层的神经元编号为1到10,分别表示1到9和0(10表示0),每个神经元输出结果是预测输入图像是该神经元编号的概率,选取概率最大的神经元编号作为预测的数字。
1.3 Vectorizing Logistic Regression
function [J, grad] = lrCostFunction(theta, X, y, lambda)
% Initialize some useful values
m = length(y); % number of training examples
% You need to return the following variables correctly
J = 0;
grad = zeros(size(theta));
J = (-y' * log(sigmoid(X * theta)) - (1 - y)' * log(1 - sigmoid(X * theta))) / m ...
+ lambda / 2 / m * sum(theta(2 : end) .^ 2);
temp = theta;
temp(1) = 0;
grad = (X' * (sigmoid(X * theta) - y) + lambda * temp) / m;
grad = grad(:);
end
1.4 One-vs-all Classification
函数fmincg与第三周里使用的fmin