编程作业（四）

神经网络学习

任务一 数据可视化

在本次编程练习中，我们使用编程练习三种的数据集。除此之外，我们随机从数据集中选取100个样本，并将其可视化。

load('ex4data1.mat');
m = size(X, 1);

% Randomly select 100 data points to display
sel = randperm(size(X, 1));
sel = sel(1:100);

displayData(X(sel, :));

由于displayData()函数早已准备好了，因此我们只需在ex4.m文件中直接调用即可。其运行结果如下：

任务二 模型表达

与编程作业三一样，我们采用如下模型：

其中，输入层的激活单元数为400个，隐藏层的激活单元数为25个，输出层的激活单元数为10个。（注：输入层和隐藏层均不包括偏置单元。）

任务三 向前传播算法和代价函数

在该任务中，我们不考虑正则化问题，只考虑如何使用向前传播算法计算代价函数J(Θ)。

步骤一：利用向前传播算法计算假设函数h_Θ(x)

% 假设函数h
X = [ones(m, 1) X];
a2 = sigmoid(X * Theta1');

a2 = [ones(m, 1) a2];
a3 = sigmoid(a2 * Theta2');

步骤二：根据代价函数J(Θ)的公式，计算代价函数J(Θ)

% 代价函数J
Y = [];
E = eye(num_labels);
for i=1 : num_labels
    t = find(y == i);     % 返回y中等于i的元素所在的行数
    Y(t, :) = repmat(E(i, :), size(t, 1), 1);
end

cost = Y .* log(a3) + (1 - Y ) .* log(1 - a3);
J= -1 / m * sum(cost(:));

注：在计算代价函数J(Θ)之前，我们需要将向量y映射成一个新向量Y，我们要保证向量Y中只包含0和1。这是因为逻辑函数g(z)的特性所决定的，当g(z) ≥ 0.5时，y = 1；当g(z) < 0.5时，y = 0。

例如：我们将0~9分类则向量y为：

任务四 正则化的代价函数

正则化的代价函数J(Θ)的公式为：

注：对代价函数J(Θ)进行正则化时，我们无需考虑偏置单元。

% 假设函数h
X = [ones(m, 1) X];
a2 = sigmoid(X * Theta1');

a2 = [ones(m, 1) a2];
a3 = sigmoid(a2 * Theta2');

% 代价函数J
Y = [];
E = eye(num_labels);
for i=1 : num_labels
    t = find(y == i);     % 返回y中等于i的元素所在的行数
    Y(t, :) = repmat(E(i, :), size(t, 1), 1);
end

temp1 = [zeros(size(Theta1,1),1) Theta1(:,2:end)];
temp1 = sum(temp1 .^ 2);

temp2 = [zeros(size(Theta2,1),1) Theta2(:,2:end)];
temp2 = sum(temp2 .^ 2);

cost = Y .* log(a3) +  (1 - Y) .* log(1 - a3);
J = -1 / m .* sum(cost(:)) + lambda / (2 * m) * (sum(temp1(:)) + sum(temp2(:)));

任务五 Sigmoid gradient

在逻辑回归（二）一文中，我们就已经了解了逻辑函数g(z)关于z求导的推导过程。

其中：

因此，我们只需在sigmoidGradient.m文件中补充如下代码即可：

g = sigmoid(z) .* (1 - sigmoid(z));

任务六 随机初始化

在此之前我们所使用的权重矩阵Θ都是我们事先准备好的。在该任务中，我们要对权重矩阵Θ进行随机初始化操作。

epsilon_init = 0.12;
W = rand(L_out, 1 + L_in) * 2 * epsilon_init - epsilon_init;

任务七 向后传播算法

本任务中，我们需要使用向后传播算法计算下降梯度，以便后续使用梯度下降算法或其他高级优化算法。（注：不考虑正则化。）

步骤一：我们先利用向前传播算法计算每一层的参数z和假设函数a，如此处，我们要计算出z⁽²⁾，a⁽²⁾，z⁽³⁾和a⁽³⁾。

% 隐藏层误差
delta_1 = zeros(size(Theta1));
% 输出层误差
delta_2 = zeros(size(Theta2));

for t = 1 : m
    % step 1
    a_1 = X(t, :)';
    z_2 = Theta1 * a_1;
    a_2 = sigmoid(z_2);

    a_2 = [1; a_2];
    z_3 = Theta2 * a_2;
    a_3 = sigmoid(z_3);

步骤二：计算输出层的误差δ⁽³⁾。

    % step 2
    error_3 = zeros(num_labels, 1);
    for k = 1 : num_labels
        error_3(k) = a_3(k) - (y(t) == k);
    end

步骤三：计算隐藏层的误差δ⁽²⁾。（注：不考虑偏置单元。）

    % step 3
    error_2 = Theta2' * error_3;
    error_2 = error_2(2 : end) .* sigmoidGradient(z_2);

步骤四：计算误差Δ^(l)。

    % step 4
    delta_1 = delta_1 + error_2 * a_1';
    delta_2 = delta_2 + error_3 * a_2';
end

注：从步骤一至步骤四第一个for循环结束。

步骤五：计算代价函数J(Θ)的偏导数。

Theta1_grad = 1 / m * delta_1;
Theta2_grad = 1 / m * delta_2;

任务八 下降梯度检验

根据上图，我们可得：

由于，该部分代码早已准备好。因此，我们只需在ex4.m文件中调用即可。

任务九 正则化的神经网络

根据上图所示，我们只需将任务八中的代码修改为：

% step 5
Theta1_temp = [zeros(size(Theta1,1),1) Theta1(:,2:end)];
Theta2_temp = [zeros(size(Theta2,1),1) Theta2(:,2:end)];

Theta1_grad = 1 / m * delta_1 + lambda / m * Theta1_temp;
Theta2_grad = 1 / m * delta_2 + lambda / m * Theta2_temp;

任务十 Learning parameters using fmincg

该部分代码在ex4.m文件已经准备好了，代码如下：

%  value to see how more training helps.
options = optimset('MaxIter', 50);

%  You should also try different values of lambda
lambda = 1;

% Create "short hand" for the cost function to be minimized
costFunction = @(p) nnCostFunction(p, ...
                                   input_layer_size, ...
                                   hidden_layer_size, ...
                                   num_labels, X, y, lambda);

% Now, costFunction is a function that takes in only one argument (the
% neural network parameters)
[nn_params, cost] = fmincg(costFunction, initial_nn_params, options);

% Obtain Theta1 and Theta2 back from nn_params
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), ...
                 hidden_layer_size, (input_layer_size + 1));

Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), ...
                 num_labels, (hidden_layer_size + 1));

任务十一 隐藏层可视化

同样，ex4.m文件中该部分代码如下：

displayData(Theta1(:, 2:end));

其结果为：

任务十二 正则化参数λ的选择（选做）

在ex4.m文件中修改正则化参数λ的值和迭代次数即可。