吴恩达ex3_[Coursera] Machine Learning ex3 多元分类和神经网络 步骤分析

第四周的主要内容是神经网络，个人觉得讲得比较跳，所以补充几篇文章加深一下理解：

But what *is* a Neural Network?

先提一下，本人设计背景，没学过微积分，这篇只当是笔记，有不准确或不足之处请大家在下方评论。

本文是步骤分析，所以会把答案写出来，还没有做作业的请绕道。

ex3 的作业的训练集5000个20 x 20-pixel 的手写数字。我们将数据加载：% Load saved matrices from file

load('ex3data1.mat');

% The matrices X and y will now be in your MATLAB environment

我们可以看到 X 是5000 x 400 的一个矩阵，每一行是一个数字每像素的灰度值。

X and y

Visualizing the data

这周的作业内容为四个function，完成后就可以识别上图的手写数字啦Regularized logistic regression - 30

One-vs-all classifier training - 20

One-vs-all classifier prediction - 20

Neural network prediction function - 30

lrCostFunction

第一个lrCostFunction.m 文件看着无比眼熟，没错这个和上周的costfunctionReg.m 应该是一模一样的。只不过 ex3 要求用向量化也就是矩阵表达。这个课程默认是 ex2 用loop, ex3 用向量。如果 ex2 就使用了向量，那 ex3 的第一个作业就很轻松了(很郁闷为什么不早点给向量化的解释，ex2 就省得我自己算那么久了)。

Vectorize cost function

Vectorize the gradient

上面代价函数的向量化很好理解，主要是 vectorize the gradient 关于 X 的转置有点绕人。

逻辑回归正则化就是根据公式在后面加上 lambda blabla... 不过求偏导数的时候要注意theta0 不需要正则化，所以要单独拿出来。

Vectorize regularized logistic regressionh = sigmoid(X * theta)

cost = 1/m * sum(-y .* log(h) - (1-y) .* log(1-h)); % 这里是 .* 而非 * 是因为将矩阵里每个元素相乘而非矩阵相乘

regCost = lambda / (2*m) * sum(theta(2:end) .^ 2) % 排除theta(1)

J = cost + regCost;

grad = 1/m * X' * (h - y) % 偏导数向量化看 Vectorize the gradient 那张图

temp = lamba / m * theta;

temp(1) = 0;

grad = grad + temp;

One-vs-all

在第四周的视频里，我们了解到One vs all 的基本概念就是把多个分类转化为二元分类的问题。比如第一个判断是不是0，第二个判断是不是1... OneVsAll 函数就是求10个类的参数θ值。

这里我们要用到 fmincg 函数，和上一个练习的 fminuc 差不多，可以返回代价函数最小化的参数θ和相对应的cost. fmincg 更适合参数较多的情况。% Set initial theta

initial_theta = zeros(n + 1, 1);

% Set options for fmincg 按照示例写就行

% 这里用梯度下降法，最大迭代次数50次

options = optimset('GradObj', 'on', 'MaxIter', 50);for c = 1: num_labels

% Run fmincg to obtain the optimal theta

all_theta(c,:) = fmincg(@(t)(lrCostFunction(t, X, (y == c), lambda)), initial_theta, options);

end

在ex3.mlx 里设置一下 label 数量和 lambda 值num_labels = 10; % 10 labels, from 1 to 10 lambda = 0.1;

[all_theta] = oneVsAll(X, y, num_labels, lambda);

all_theta 是一个 10x401的矩阵，每行是每个类(本练习是0, 1, 2, 3 .... 9)的theta值。

all_theta

Predict OneVsAll

有了这一堆 theta 值，我们就有了训练好的分类器，接下来可以预测一个图片是什么数字了。我们可以先算出该图片为0, 1, 2, 3 ... 的概率，概率最大的即判断为这个数。

这里用sigmoid(X * all_theta') 计算概率。X是一个5000x401的矩阵，all_theta' 是一个401x10的矩阵，相乘后为5000x10的矩阵，每行是这个图分别为1, 2, 3, 4, .... 0 的概率。我们取每行的最大值并判断其为该类别。

我自己脑子不太转得过来，先看看 X * all_theta 的结果：B = [ones(m, 1) X] * all_theta;

B(1:4, :) % 提取前4行的结果

X * all_theta' 前四行

再看看加了sigmoidC = sigmoid([ones(m, 1) X] * all_theta);

C(1:4, :) % 提取前4行的结果

sigmoid(X * all_theta') 前四行：其中每个元素都是介于0和1之间的

作业提示可以用 max 函数返回最大值。如果 A 是一个向量，max(A) 返回A中最大元素，如果 A 是矩阵，max(A) 会将每一列作为一个向量，返回一个行向量，该向量的第 i 个元素是矩阵A 第 i 列上的最大值(参考：matlab 中max函数用法)。

max function

Predict OneVsAll 的代码只有短短几行：function p = predictOneVsAll(all_theta, X)m = size(X, 1);

num_labels = size(all_theta, 1);

% p是需要返回的结果

p = zeros(size(X, 1), 1);

% 在X前加一列1X = [ones(m, 1) X];

[x, p] = max(sigmoid(X * all_theta'), [], 2);

这里p返回的是行号也就是类。

测试一下准确率，为95.04000.pred = predictOneVsAll(all_theta, X);

fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);

Predict

下一个部分就是将刚刚学到的多元分类运用到神经网络中啦！最后一个其实不难，主要工作是建立一个三层的神经网络。而且作业里已经有了Theta1 和 Theta2, 分别是 25x401 和 10 x 26 的矩阵(Theta矩阵的大小为 s(j+1) x s(j) + 1)。先回顾一下模型：

Model Representation.png

a1就是在 X 前加一列1，a2 为用Theta1计算出的第二层的值。a1 = [ones(m, 1) X]; % 输入层

a2 = [ones(m,1) sigmoid(a1 * Theta1')]; % 隐藏层

[x, p] = max(sigmoid(a2 * Theta2'), [], 2); % 输出层

在 main 函数里看一下准确率大概是97.5%.pred = predict(Theta1, Theta2, X);

fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);

最后一段可以随机挑选某个digit 进行预测，非常有趣

Predict digit

作者：郭舒简

链接：https://www.jianshu.com/p/be15a87eba60