2.2 感知机模型
2.3 多层感知机
2.3.1 问题的引入
线性不可分问题:无法进行线性分类
如图1 所示,该问题无法进行线性分类
图 1 XOR问题
2.3.2 多层感知机结构
多层感知机在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。隐藏层位于输入层和输出层之间。图2展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。
图2 带有隐藏层的多层感知机模型
多层感知机中的隐藏层和输出层都是全连接层。隐藏层的输出为输入层的输入,其输出O可以用以下公式来表示:
多层感知机有如下性质:
![](https://i-blog.csdnimg.cn/blog_migrate/824385d7cc77d459d38913d2dc497df7.png)
3 前向传播与反向传播算法
3.1 前向传播
前向传播是指对神经网络沿着从输入层到输出层的顺序,依次计算并存储模型的中间变量(包括输出)。若x为输入,则有以下公式
其中z为中间变量,W为隐藏层的权重函数。将中间变量赋值给激活函数,将可以得到向量长度为h的隐藏层 。
假设损失函数为l,且样本标签为y,可以计算单个样本的损失项:
前向传播的流程图如下:
图3 正向传播
3.2 反向传播
又称误差反传算法: