机器学习笔记 week04

一、神经网络

神经网络产生的原因是人们想尝试设计出模仿大脑的算法。找出一些近似的或实际的大脑学习算法，然后实现大脑通过自学掌握如何处理这些不同类型的数据。

1、神经元模型

其中x为输入层，x0为偏置单元，=1。黄圈为输出层，输入预测结果。
在神经网络中，参数θ又可被成为权重（weight）。

2、神经网络

神经网络是是由一组神经元组成的。

（1）第一层成为输入层（Input Layer），其中, x1,x2,x3是输入单元（input units），我们将原始数据输入给它们。还会增加一个x0 = 1。
（2）中间一层成为隐藏层（Hidden Layers），a1,a2,a3 是中间单元，它们负责将数据进行处理，然后呈递到下一层。 还会增加一个a0 = 1。
（3）最后一层称为输出层（Output Layer），负责计算h_θ(x)。

补充：
a^(j)_i 代表第 j 层的第 i 个激活单元。
θ^(j) 代表从第 j 层映射到第 j+1 层时的权重的矩阵，例如 θ⁽¹⁾ 代表从第一层映射到第二层的权重的矩阵。其尺寸为：以第 j+1 层的激活单元数量为行数，以第 j 层的激活单元数+1 为列数的矩阵。例如：上图所示的神经网络中 θ⁽¹⁾ 的尺寸为 3*4。

3、前向传播算法

对于上图所示的模型，激活单元和输出分别表达为：

把x, θ, a 分别用矩阵表示，我们可以得到 a = g(θ · x):

接着，令 z⁽²⁾ = θ⁽¹⁾· x , 则第二层 a⁽²⁾ = g(z⁽²⁾) , 然后添加 a⁽²⁾₀ = 1。
再令 z⁽³⁾ = θ⁽²⁾· a⁽²⁾ ， 则第三层 h_θ(x) = a⁽³⁾ = g(z⁽³⁾)

总结：
我们可以把 a0,a1,a2,a3 看成更为高级的特征值，也就是 x0,x1,x2,x3 的进化体，并且它们是由 x 与决定的，因为是梯度下降的，所以 a 是变化的，并且变得越来越厉害，所以这些更高级的特征值远比仅仅将 x 次方厉害，也能更好的预测新数据。
这就是神经网络相比于逻辑回归和线性回归的优势。

4、神经网络例子

单层神经元（无中间层）的计算可用来表示逻辑运算，比如逻辑与(AND)、逻辑或(OR)、逻辑非(NOT)。
（1）逻辑与(AND)

其中 θ为权重，设 θ0 = -30， θ1 = 20 ， θ2 = 20， 我们的输出函数即为：
已知 g(x) 的图像是：

对应的 预测函数 h_θ(x) 为：
所以我们有： h_θ(x) ≈ x1 AND x2
（2）逻辑或(OR)

（3）逻辑非(NOT)

（4）同或(XNOR)
还可以利用神经元来组合成更为复杂的神经网络以实现更复杂的运算。

同或的表达式为：


其中，第二层的 a⁽²⁾₁ = x1 AND x2 ， a⁽²⁾₂ = (NOT x1) AND (NOT x2).
第三层的 a⁽³⁾₁ = a⁽²⁾₁ OR a⁽²⁾₂

5、多类分类

本质：一对多的拓展。
例如我们要训练一个神经网络算法来识别行人、汽车、摩托车和卡车，在输出层我们应该有4个值。第一个值为1或0用于预测是否是行人，第二个值用于判断是否为汽车，以此类推。
神经网络算法的输出结果为四种可能情形之一：