matlab反向传播算法,[Coursera] Machine Learning ex4 反向传播算法

这周和上周的作业一样，数据集还是5000个 20x20 像素的手写字母，这周会用到反向传播的算法。一共5段需要提交的代码，如果上周的内容弄清楚了，跟着教程的话作业是不太难的(虽然课程视频内容很烧脑)。

Feedforward and cost function 30

Regularized cost function 15

Sigmoid gradient 5

Neural net gradient function (backpropagation) 40

Regularized gradient 10

Feedforward and cost function

因为多元分类的神经网络中 y 是一个横向的向量，包含了从0到9的标签。但是如果我们要训练一个神经网络，需要将 y 转化为一个只有0和1的矩阵。例如 x1 的标签为5，那 y 的第一行只有第五个元素是1，其他都是0. 我们可以用一个 for loop 完成(可能还有我不知道的更简洁的方法)。

Recode y

Y = zeros(m,num_labels);

for i = 1:m

Y(i, y(i)) = 1;

end

接着就是构建我们的神经网络模型了，和上周的内容差不多。只不过因为神经网络的公式不同，我们需要多加一个sum. 这个公式不难理解，代价函数求的是预测值和实际结果的平方差，

神经网络的正则化有些复杂，乍一看一个Σ套一个Σ，不过在 matlab 里写的时候就是一个sum套一个sum, 注意括号和公式就可以了(如果结果不对多半是公式写错了哈哈)。

神经网络代价函数公式

ex4 中的代价函数(Theta1 Theta2 分开来写更明了)

对于前半部分这两个Σ, K 为该神经网络输出层的标签数(本作用中为10)，m 为样本数，我们先把一个样本的10个标签的代价求和，再将 m 个样本的代价求和。

作业提示强调不要把 bias 算进去，之前在逻辑回归里是没有算 theta 的第一个元素，这里是跳过 Theta1 和 Theta2 的第一列。

% add bias

a1 = [ones(m,1) X];

% hidden layer

z2 = a1 * Theta1';

% add bias

a2 = [ones(m,1) sigmoid(z2)];

z3 = a2 * Theta2';

a3 = sigmoid(z3);

cost = 1/m * sum(sum(-Y .* log(a3) - (1-Y) .* log(1-a3)));

% skip 1st column of Theta1 and Theta2

regCost = lambda/(2*m) * (sum(sum(Theta1(:,2:end) .^ 2))+ sum(sum(Theta2(:, 2:end) .^ 2)));

J = cost + regCost;

Sigmoid gradient

这个比较简单。我犯的一个错误是用了 * . 虽然在主函数里得到了正确的结果0.25，但是提交的时候出现了问题。所以提交前用 test code 测试一下会比较好(这些 test code 真的很有用)。这里应该用 .* 因为是矩阵元素相乘。

g = sigmoid(z) .* (1-sigmoid(z));

Backpropogation Algorithm

作业里的 checkNNGradients.m 是一段单独的程序，里面的Theta1, Theta2 和之前的不一样，专门用来检测偏导数计算是否正确。其实怎么写公式里面都有，但是......

偏导数计算步骤

但是我在电脑前坐了2个多小时一直在写这段代码！(可能是自己智商比较捉急吧...)因为矩阵的 size 总是傻傻分不清，就不停在报错说 Matrix dimensions must agree...

计算的时候可以用 size 函数看矩阵大小

我的代码有点冗余...

% ==== Part 2 ====

Delta1 = zeros(size(Theta1));

Delta2 = zeros(size(Theta2));

for i=1:m

a_1 = X(i,:)';

% add bias

a_1 = [1; a_1];

% hidden layer

z_2 = a_1' * Theta1';

a_2 = sigmoid(z_2);

% add bias

a_2 = [1; a_2'];

% output layer

z_3 = a_2' * Theta2';

a_3 = sigmoid(z_3);

% compute the error

delta_3 = a_3 - Y(i, :);

% compute error on the second layer

tmp = (Theta2' * delta_3')';

delta_2 = tmp(2:end).* sigmoidGradient(z_2);

Delta2 = Delta2 + delta_3' * a_2';

Delta1 = Delta1 + delta_2' * a_1';

end

Theta1_grad = 1/m * Delta1;

Theta2_grad = 1/m * Delta2;

写完后执行一下 checkNNGradients, 可以看到偏导数确实很相近：

Gradient checking result

Regularized Neural Networks

最后这步也是比较简单的，注意点就是不要把 bias 算进去。 Theta1 和 Theta2 是两个矩阵，这里也是无视他们的第一列。我尽量写得短一点。

% ==== Part 3 ====

% regularize Theta1_grad

Theta1_grad(:,2:end) = Theta1_grad(:,2:end) + lambda / m * Theta1(:, 2:end);

% regualize Theta2_grad

Theta2_grad(:,2:end) = Theta2_grad(:,2:end) + lambda / m * Theta2(:, 2:end);

Learning parameters

到这里就完成作业啦！运行下面的代码用 fmincg 返回 Theta 值，可以看到正确率大概为95.68%!

options = optimset('MaxIter', 50);

lambda = 1;

% Create "short hand" for the cost function to be minimized

costFunction = @(p) nnCostFunction(p, input_layer_size, hidden_layer_size, num_labels, X, y, lambda);

% Now, costFunction is a function that takes in only one argument (the

% neural network parameters)

[nn_params, ~] = fmincg(costFunction, initial_nn_params, options);

% Obtain Theta1 and Theta2 back from nn_params

Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), hidden_layer_size, (input_layer_size + 1));

Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), num_labels, (hidden_layer_size + 1));

pred = predict(Theta1, Theta2, X);

fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);

Learning parameters using fmincg

还有最后的显示隐藏层也很有趣呢！

Display hidden layer