八、神经网络

1 为什么要用神经网络

用来解决特征太多、参数太多，计算量太大，甚至发生过拟合的问题
对于一个只有两个变量的二分类问题，我们可以建立以下的分类边界表达式，并带入Sigmoid函数中，因为变量较少，我们可以很容易找到两个变量组合的一次方项、二次方项、三次方项…。通过梯度下降就可以找到如图所示得到分类边界：

但是如果我们要对一个一张50×50的灰度图片进行分类，判定其是否为汽车，则该照片里共有2500个像素点，也就有2500个变量，则其进行组合的一次方项、二次方项、三次方项…有非常多，也就导致很多很多的特征，这不仅增加了计算开销，还可能引发过拟合。而采用神经网络可以很好的解决这一问题。

2 神经网络的表示

2.1 神经元

Logistics回归的函数就是一种简单的神经元表达模型，对输入的x₁, x₂, x₃进行一定的计算，然后输出h_θ(x)，就像神经元传递信号一样。有时候还会加上x₀=1的输入项，称之为偏置神经元或偏置单元。

2.2 神经网络

Layer 1也叫输入层，Layer 2也叫隐层（在训练过程中看不到，可以不止一个隐层），Layer 3 也叫输出层。
还可以有更多层，层与层之间神经元的连接方式称为神经网络的架构。

2.2.1 符号定义

a_i^(j)：第j层第i个神经元的激活函数，表示将对该神经元的输入做何种运算。
Θ^(j)：一个权重矩阵，控制着从第j层到第j+1层的激活函数的映射

这里的Θ⁽¹⁾是3×4的矩阵，即：若神经网络的第j层有s_j个神经元，第j+1层有s_j+1个神经元，则Θ^(j)的维度是s_j+1×(s_j+1)
将图片中括号里的式子分别用z₁⁽²⁾, z₂⁽²⁾, z₃⁽²⁾表示，其中上标表示第2层，即：

• z₁⁽²⁾ = Θ₁₀⁽¹⁾x₀ + Θ₁₁⁽¹⁾x₁ + Θ₁₂⁽¹⁾x₂ + Θ₁₃⁽¹⁾x₃
• z₂⁽²⁾ = ……
• z₃⁽²⁾ = ……

2.2.2 向量化

注意：此处z⁽²⁾是三维向量，因为z⁽²⁾有三个变量，其本身是一个3×1矩阵（矩阵的维度和向量的维度不是一个概念）
则：
其中：z⁽²⁾也可以写为z⁽²⁾ = Θ⁽¹⁾a⁽¹⁾，此处把s看做第一个激活层。把偏置单元加上：

则a⁽²⁾就是四维向量了，由此可以通过向量运算的方法计算出h_θ(x)。这个过程右称为前向传播过程

2.2.3 神经网络所使用的特征

该神经网络的功能和Logistics回归一样，只不过没有直接使用x₁, x₂, x₃作为特征，而是使用了a₁⁽²⁾, a₂⁽²⁾, a₃⁽²⁾作为特征，而a₁⁽²⁾, a₂⁽²⁾, a₃⁽²⁾是它自己训练出来的。

3 非线性模型例子

3.1 能实现“与”功能的神经网络

3.2 能实现“或”功能的神经网络

3.3 能实现“非”功能的神经网络

3.4 能实现“同或”功能的神经网络

其实是简单功能神经元的堆叠，而堆叠原则与逻辑运算原理有关

3.5 实现多分类

建立一个有四个输出的神经网络（四个Logistics回归神经网络），用第一个输出神经元判断是否是行人，第二个判断是否是汽车……

使用训练集进行训练：

训练的目标是：

其中h_Θ(x⁽ⁱ⁾)和y⁽ⁱ⁾都是四维向量，即对于任意一个图片输入，其输出都是一个四维向量。