动机:只是简单的增加二次项或者三次项之类的逻辑回归算法,并不是一个解决复杂非线性问题的好办法。因为当n很大时,将会产生非常多的特征项。
任何一个不是输出层或输入层的都被称为隐藏层。
如果把前面的输入层和隐藏层遮住,只剩下最后一个隐藏层和输出层,那么这个模型看起来就像是逻辑回归。只不过输入不再是特征x,变成了前面隐藏层的输出。因此,神经网络可以在前面的隐藏层中经过调整θ值(权重),计算出更好的特征,作为后面层的输入。也就是自主的选择特征。
从输入层的激励开始,向后面的隐藏层传播,直到输出层,就称为前向传播。
S型函数:
在z=4.6时,g(z)≈0.99,同样,z=-4.6时,g(z)≈0.01。
因此下面的神经网络实现了或(OR)运算:
下面是一个实现了同或XNOR的例子:
神经网络应用于分类任务时:
代价函数:
反向传播算法是从输出层把误差一层一层传递到输入层:
红色公式是向量化的表示。
前向传播和反向传播的直观表示: