关于卷积神经网络的学习记录

两篇相关文章：

• ResNet残差网络
  https://mp.weixin.qq.com/s?__biz=MzU0ODczMTEwOQ==&mid=2247492986&idx=1&sn=db87aa68405c0ebe57f6fd0b8a05c2ae&chksm=fbb804f0cccf8de6c4bae5deaf993d51a5a262dd2dfa054d84e5fbd1c9211b9f181ad7bcfec5&scene=0&xtrack=1#rd

• 卷积神经网络数学原理
  https://mp.weixin.qq.com/s/xS34P1fJjf13MWSXjpurzw

学习记录：

1. 卷积神经网络基础单元

1.1 卷积（convolution）

• 卷积的计算方式
  • http://deeplearning.stanford.edu/wiki/index.php/
  • 或参考第二篇文章，有很简明的描述；
    
• 卷积核与通道、分辨率的关系
  • 每个卷积核覆盖全部输入通道；
  • 每个卷积核的结果为一个输出通道；
  • 根据padding，可选地改变分辨率；
• 卷积的作用和设计思路
  • 滤波（kernel-size， stride）；
  • 局部相关性（kernel-size）；
  • 中心感受野（padding， stride）；

1.2 激活函数（activation）

• 知乎传送门—>https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit
• 激活函数的设计思想：非线性扭曲
  
• 常见激活函数
  • Sigmoid
  • ReLU/PReLU/SeLu
  • Tanh

1.3 池化（pooling）

• 原理：http://deeplearning.stanford.edu/wiki/index.php/池化
• 覆盖所有通道，但不改变通道数量；降低分辨率，减少信息量；
• 作用：信息保留（avg_pool）与过滤（ max_pool）；
• 平移不变性（stride）；

1.4 批归一化（batch normalization）

• 原理：https://blog.csdn.net/shuzfan/article/details/50723877
• 归一化为0均值和单位方差，有利于加速收敛；
• 对应的激活函数：sigmoid、ReLU；

1.5 Dropout

• 原理：https://zhuanlan.zhihu.com/p/21560667
• 作用：增加随机扰动，减少过拟合，代价是收敛变慢；

2. 优秀的模型

• ALexNet
• VGG
• ResNet
• DenseNet
• Inception

待修改。。。