Andrew Ng机器学习--L8:神经网络的表述

神经网络是一种受大脑工作原理启发的模式。 它在许多应用中广泛使用：当您的手机解释并理解您的语音命令时，很可能是神经网络正在帮助理解您的语音; 当您兑现支票时，自动读取数字的机器也使用神经网络。

8.1 非线性假设 Non-linear Classification

参考视频 p43

线性回归和逻辑回归的缺点： 当输入数据特征过多，计算负荷大。

计算机视觉中，图片的表示是通过像素矩阵表示的。假设一个图片是50×50px，其特征数为2500（灰度图，如果是RGB图则为7500）。如果两两特征组合将达到百万级别（从2500里选两个组合，2500 x 2499 / 2 ≈ 3 x 10^6），逻辑回归将无法适用。

8.2 神经元和大脑

参考视频 p44

8.3 模型表示1

参考视频 p45

为模仿大脑的工作方式，神经网络可以类似的分为：输入的数据特征，中间的数据处理层，最后的输出。

神经网络模型建立在很多神经元之上，每一个都是一个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征，并且根据本身的模型提供一个输出。

下图是一个以逻辑回归模型作为自身学习模型的神经元示例。参数 θ 也可以称为权重 weights。

神经网络模型是许多逻辑单元按照不同层级组织起来的，每一输出变量都是下一层的输入变量。

逻辑单元：输入向量x（input layer），中间层ai(j)（hidden layer）, 输出层h(x)（output layer）。

每一层的输入都可以增加一个偏执单元 bias unit，通常取值为1。

ai(j) 是第 j 层的第 i 个激活结点（activation units）。j 表示是第几层，i 表示从上到下第几个元素。

θ(j) 是将第 j 层映射到 j+1 层的权重矩阵

θ的维度

如果网络在第j层有 Sj 个单元（加上偏执单元），在 j+1 层有 Sj+1 个单元（不算偏执单元），θ(j) 的维度将是 S(j+1) X (Sj+1)。如上面的例子，theta1=3×4，theta2=1×4。

注：很重要，容易搞反。row为下一层单元数，column数为当前层单元数+1。

神经网络中，从上到下的每个原点是feature特征x0, x1, x2…。不是实例。它做的事情其实就是feature映射的过程，一层转换之后，feature可能变多、也可能变少。下一层feature的个数是通过权重矩阵 θ 的 row 来控制。

8.4 模型表示 2

参考视频 p46

我们把这样从左到右（input->activation->output）的算法称为前向传播 FORWARD PROPAGATION


如果遮住前几层，神经网络就像 logistic regression，只不过我们把 logistic regression 中的输入向量[x1~ x3] 变成了中间层的 [a1(2) ~ a3(2)], 即



a 由 x 决定，并随着梯度下降变化越来越大，效果优于 x 的几次方。

8.5+8.6 特征和直观理解

参考视频 p47

用神经网络实现逻辑表达式

单层神经网络可用来表示逻辑运算，比如 AND、OR

1）AND

2）OR

3）取非 ¬

4）x1 ==0 && x2 ==0

4）XNOR 异或非

（和 异或XOR操作相反：值相同为真）

比较复杂，需要结合 AND、NOT AND 和 OR三个运算。


a21 = x1 && x2
a22 = （﹁x1）&&（﹁x2）
a31 =a21 || a21 =(x1 && x2) || （﹁x1）&&（﹁x2） = x1 XNOR x2；

8.7 多类分类

参考视频 p49

one-vs-all 方法是把二类分类问题到多类分类的一个推广。用神经网络进行多分类：

输入向量 x 有三个维度，两个中间层，输出层有4类。输出为4维向量，向量中对应类型处值为1。

应用：手写识别系统