李宏毅机器学习2021学习笔记（1）：CNN

李宏毅机器学习2021学习笔记（1）：CNN

1.评价指标：交叉熵（Cross entropy）

2.CNN本质：读取局部特征

3.Receptive field 与 Stride

Receptive filed:CNN中选取局部特征的区域大小（实际上就算取的很小也能把特征提取到，因为卷积层不止一层，第二层及之后会扩大提取范围），一般会取3*3（也可以改变形状），在超出矩阵范围（overlap）时一般取零（padding）,或者均值等都可。
Stride:CNN中Receptive filed每前进一步的大小

  第一层卷积层特征提取图片范围为3*3，第二层卷积层实际提取的图片范围为5*5

4.两种方式看CNN本质

（1）共享参数

当同一特征在两张图片的不同位置时，neurons神经元的参数一致就可以探测同样的特征

  实际上，全连接层、Receptibe Field、参数共享后的卷积层呈如图关系。（限制大小的问题，卷积层为针对特殊问题设置）

（2）过滤器（filter）

将一个3*3的矩阵看成一个filter,每一个filter都将遍历整张图片探测特征，filter个数为超参数。

（3）.两种思考方式

5.池化

适用于参数过多，为减少计算量而采取的方法。（限制在特殊情况，如图像，因为图像抽取部分数据简化后特征任可以看出）

  池化方式举例，下图为选取2*2中最大值（Max Pooling）

6.一般CNN整体框架

  INPUT→卷积层→池化→卷积层→池化→矩阵一维化（Flatten）→全连接神经网络→softmax(一种激活方式)直观记录每种类别的可能性大小比较→OUTPUT

7.可参考文献

（1）CNN用于Speech
Convolutional neural networks for speech recognition
（2）CNN用于NLP
UNITN: Training Deep Convolutional Neural Network for Twitter Sentiment Classification
（3）将CNN扩展到可用于图片旋转、换向、缩放