CNN和ResNet

一、卷积神经网络

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。

卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” 。

二、人工神经网络

神经网络的基本模型

卷积层

卷积层被称为过滤器或者内核或者卷积核，通过卷积操作对输入图像进行降维和特征抽取。

对输入图像核滤波矩阵做内积的操作就是卷积。

可以用来提取图像中的局部特征

卷积层计算

池化层

池化只是在二维数据上操作的，因此不改变通道数。对于多通道的输入，这一点和卷积的区别不大。不同于卷积层⾥计算输⼊和核的互相关性，池化层直接计算池化窗⼝内元素的最⼤值或者平均值。

池化层的作用

1. 降维，缩减模型大小，提高计算速度
2. 降低过拟合概率，提升特征提取鲁棒性
3. 对平移和旋转不敏感

 激活函数

1.   提高模型的抗干扰能力，非线性表达能力，环节梯度消失问题，加速模型收敛

2.  将当前特征空间映射转换到另一个空间，让数据能够更好的被分类

3.  非线性激活函数

                假如网络中全部是线性部件，那么线性的组合还是线性

                网络更加强大，擅长学习复杂的事物，复杂的表单数据，从输入输出之间生成非线性映射

 ReLu激活函数

relu函数是常见的激活函数中的一种，表达形式如下：

Relu函数的优势

1、没有饱和区，不存在梯度消失问题，防止梯度弥散；

2、稀疏性；

3、没有复杂的指数运算，计算简单、效率提高；

4、实际收敛速度较快，比 Sigmoid/tanh 快很多；

5、比 Sigmoid 更符合生物学神经激活机制。