1.1卷积神经网络基础 + 1.2卷积神经网络基础补充

1.1卷积神经网络基础总纲：

1、卷积神经网络  2、全连接层  3、卷积层  4、池化层

1、卷积神经网络

a.卷积神经网络历史

CNN - Convolutional Neural Network

雏形：LeCun的LeNet(1998)网络结构（可以认为是卷积神经网络发展史中第一个卷积神经网络）

图a

简单理解 只要包含了卷积层的网络都可以叫做 卷积神经网络

b.卷积神经网络（CNN）的发展

1986 Rumelhart和Hinton等人提出了反向传播（Back Propagation, BP）算法即BP神经网络。

1998 LeCun利用BP算法训练LeNet5网络（图a），标志着CNN的真正面世。（硬件跟不上）

2006 Hinton在他们的Science Paper中首次提出了Deep Learning的概念。

2012 Hinton的学生Alex Krizhevsky在寝室用GPU死磕一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70%多提升到80%多。

Fast-forward to today: ConvNets are everywhere 卷积网络无处不在

图像分割、迁移实例。 左边两个图：卷积神经网络某些层的特征层进行可视化得到的结果。右边四个图：将不同风格的图像将其风格应用到原始图像中，就能得到和他风格类似的图像。

2、全连接层

全连接层就是由许许多多神经元共同连接而得来的。

将神经元按列进行排列，列与列之间进行全连接就得到一个BP神经网络

BP神经网络 实例

 将得到的5*5的矩阵进行展开，并拼接成一个行向量。一行25列的行向量。这样可以将行向量当成输入神经网络的输入层。

有了输入层之后，我们来看一下输出层 one-hot编码：常见的对标签进行编码的一种方式。

有了输入和输出 ，就能对网络进行训练了。

3. 卷积层    深度理解 卷积特性中权重共享。以一个灰度图像为例，灰度图像的channel为1.（在一维特征向量进行卷积的）通过卷积操作 可以大幅度减少参数。

接下来 进一步了解卷积的过程  实际运用过程中对多维特征矩阵进行卷积操作。

 

思考题

2. 加入激活函数如何计算？

为什么使用激活函数：计算过程中，是一个线性的计算过程。为了引入非线性因素使其具备解决非线性问题的能力。通过一个非线性函数来达到这样的目的。

 

 思考题

3.如何处理越界问题

Padding：补零，实际运用中，两边左右、上下对称补零的一个操作

本例中只是在右边和下边进行补零故加一个P就好了 

N = (4-3+1*1)/2 + 1 = 2 最终我们得到特征矩阵的大小是 2*2

4. 池化层（和卷积层比较类似 但是相对简单很多）

1.2卷积神经网络基础补充

1.2卷积神经网络基础补充总纲（主要涉及两个知识点：如何计算交叉熵损失；优化器是什么？）

1、误差的计算   2、误差的反向传播  3、权重的更新

1、误差的计算

 

 

 

2.误差的反向传播

得到损失函数之后 就是误差的反向传播

 

求解完之后呢，相当于把所求的误差反向传播到每一个节点，得到了每一个节点的损失梯度。接下来就要进行权重的更新。

3.权重的更新

 

SGD 优化器

如何解决SGD的缺点呢，我们引入了SGD + Momentum 优化器

 

Adagrad优化器 

针对Adagrad优化器的缺点提出来的RMSProp优化器

Adam优化器（自适应学习率）