神经网络与深度学习--学习笔记（二）

3.多层前馈网络与误差反传算法

3.1 线性不可分问题：

无法进行线性分类。Minsky 1969年提出XOR问题

 三层感知器可识别任一凸多边形或无界的凸区域。

更多层感知器网络，可识别更为复杂的图形。

多层感知器网络，有如下定理：

定理1 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。 定理2 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按范数逼近紧集上的平方可积函数.

3.2 多层前馈网络

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 网络结构：见图，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。

 

4. 性能优化 

4.1 动量法

4.2 自适应梯度算法 

 4.3 待解决问题

 

动量法可有效改善收敛速度，以及避免一些陷入局部极小值

AdaGrad及Adam等算法可自适应调节学习速率，加速收敛 

5.卷积神经网络基础

5.1 基本概念

 

 

 

5.2 LeNet-5网络 

5.3 AlexNet

5.4 VGG-16

 

总结 

经典网络：以“一个或多个卷积层+一个池化层“作为一个基本 单元进行堆叠，在网络尾部使用全连接层，最后以Softmax为分 类器，输出结果。

残差网络：在普通网络的基础上，将浅层的激活项通过支路直接 传向深层，克服深层神经网络中梯度消失的问题，为训练极深的 神经网络提供便利。

数据集：常见的数据集包括VOC和COCO；ImageNet较大