深度学习笔记（一）2020-12-06

声明：博主为深度学习初学者，在做毕设，以下为学习笔记，如有错误，欢迎批评指正。

1.为什么用卷积？

参数共享：提取图片某特征一部分的滤波器可以应用到这张图片其他部分很好的提取特征，因此共享参数也取得不错的效果。
稀疏连接：一个输出像素点只与输入的3*3个像素点有关。
这两种机制减少了参数，并能取得很好的平移不变性。

2. 端到端的思想

深度学习则为我们提供了另一种范式即“端到端”学习方式，整个学习流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始输入到期望输出的映射。相比分治策略，“端到端”的学习方式具有协同增效的优势，有更大可能获得全局最优解。

3.池化层的好处

特征不变性、特征降维、防止过拟合方便优化。

4.全连接层

全连接层可以看作输入1*a向量，乘以一个a*b的矩阵，得到一个 b*1的向量，即参数是矩阵a*b，数量是a*b加上一个偏差c共有a*b+1个参数，b是超参数是自己设定的，是神经元的个数，输出b的任何一个元素都由a的每个元素及其参数/权重决定，即bi=wi1*a1+wi2*a2+…wij*aj+c。在这里也可以看出全连接层接近于传统的神经网络，且参数个数远大于卷积层。

5.关于偏差

卷积层和全连接层的参数都包括偏差，卷积核为3*3*1共有3个则卷积核参数有3*3*1*3共27个，每个卷积核进行卷积计算再各加上1各偏差，所以一个卷积层有（3*3*1+1）*3个即30个参数，这里的h、w、c都是超参数(自己设定的不训练的)。同理，全卷积层的参数个数也包含偏差，即a*b+1，这里的偏差就是只有一个了，卷积层是有几个卷积核几个偏差。

6.数据增强

水平、竖直翻转，图像旋转。
目的是防止过拟合，增加模型的鲁棒性。
有线上增强和线下增强之分。

7.Relu

激活函数可以引入非线性因素，解决线性模型所不能解决的问题。
为什么引入Relu：
第一，采用sigmoid函数，算激活函数时（指数运算），计算量大。而使用Relu，整个计算节省了很多。
第二，对于深层网络，sigmoid函数反向传播时，很容易出现梯度消失的情况，(sigmoid接近饱和区的时候，变化太缓慢，导数趋于0）从而无法完成深层网络的训练。
第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数之间互相依存的关系，缓解了过拟合的发生。
如果没有bn没有relu那么两层卷积层 其实就相当于一层卷积层。
为什么relu能进行非线性映射：实际使用中，relu跟在卷积层后，实际上卷积操作相当于进行WX操作，,每一个像素由前一层特征图多个像素决定，而relu每次对一个输入像素进行操作，一个像素输出输入到relu里面，relu根据函数输出，这样就完成了非线性映射的过程即参考阈值函数对异或的划分。

8. BN

对于原来的网络，如果简单地增加深度，会导致梯度弥散或梯度爆炸。
对于该问题的解决方法是正则化初始化和中间的正则化层（Batch Normalization），这样的话可以训练几十层的网络。

9.ResNet

F是求和前网络映射，H是从输入到求和后的网络映射。比如把5映射到5.1，那么引入残差前是F’(5)=5.1，引入残差后是H(5)=5.1, H(5)=F(5)+5, F(5)=0.1。这里的F’和F都表示网络参数映射，引入残差后的映射对输出的变化更敏感。比如s输出从5.1变到5.2，映射F’的输出增加了1/51=2%，而对于残差结构输出从5.1到5.2，映射F是从0.1到0.2，增加了100%。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化，看到残差网络第一反应就是差分放大器。
对于残差链接后维数不匹配的问题，有两种策略，一种是采用0padding，另一种是采用1 * 1卷积。实际上renet 在块之间是有pooling操作的。1卷积可以改变通道数，0padding可以改变h和w。

10. 1 * 1 卷积

降维、升维，不改变特征图大小，改变通道数
后面加激活函数，增加非线性运算
参考：https://www.cnblogs.com/alanma/p/6877166.html
https://blog.csdn.net/siyue0211/article/details/81017728