神经网络与深度学习学习笔记（二）

2.2 感知机模型

2.3 多层感知机

2.3.1 问题的引入

线性不可分问题：无法进行线性分类

如图1 所示，该问题无法进行线性分类

             图 1 XOR问题

2.3.2 多层感知机结构

        多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。图2展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。

图2 带有隐藏层的多层感知机模型

多层感知机中的隐藏层和输出层都是全连接层。隐藏层的输出为输入层的输入，其输出O可以用以下公式来表示：

多层感知机有如下性质：

3 前向传播与反向传播算法

3.1 前向传播

        前向传播是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。若x为输入，则有以下公式

其中z为中间变量，W为隐藏层的权重函数。将中间变量赋值给激活函数，将可以得到向量长度为h的隐藏层  。

        假设损失函数为l，且样本标签为y，可以计算单个样本的损失项：

前向传播的流程图如下：

图3 正向传播

3.2 反向传播

        又称误差反传算法：