机器学习（7）

卷积神经网络(CNN)

卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层（池化层）构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征图(featureMap)，每个特征图由一些矩形排列的的神经元组成，同一特征图的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。

1.CNN的特点

• small region
  在影像处理中，某一层的hidden layer的neural其实只要判断某个特定pattern有没有在这张image中出现，并不需要看整张image，而是image的一小部分。
• same patterns
  同样的pattern在image里面，可能会出现在image不同的部分，但是代表的是同样的含义，它们有同样的形状，可以用同样的neural，同样的参数，就可以把patter侦测出来。
• subsampling
  类似于对一张image做降采样的过程，把一个image的奇数行，偶数列的pixel拿掉，变成原来十分之一的大小，它其实不会影响人对这张image的理解。

2.CNN的架构

• 输入一张image
• image先经过convolution layer，再经过max pooling，重复此过程（注：重复多少次应该事先决定好）
• 经过flatten层
• 把flatten的output丢到一般fully connected feedforward network，得到最终结果

2.1 Convolution layer

• 解决问题：1.当一些patterns 比整张image小；2.相同的pattern可能会出现在一张image的不同位置；
• 具体做法：用一个特定的matrix对一张image(也是一个大矩阵）不同区域做内积，每次移动stride(事先设定），不同的Convolution layer对应不同的matrix；
• convolution和fully connected之间的关系：convolution就是去掉了fully connected的weight的结果；convolution一层的每一个neural都公用一套weight参数（shared weight）；

2.2 Max pooling layer

• 解决问题：对image进行下采样也不会影响对object的理解；
• 具体做法：可以对矩阵进行分组，每组取最大值或是平均值；

2.2 Flatten layer

flatten就是feature map拉直，拉直之后传入fully connected feedforward netwwork。

3.CNN的应用

• 围棋：输入是19*19的vector即棋盘的image，输出也是棋盘的位置；例如AlphaGo，需要注意的是，与普通cnn不同，AlphaGo使用的cnn是没有Max Pooling这一层的，因为围棋是不能随意去掉任意一行或一列的；
• 语音：将声音表示成Spectrogram(横轴表示时间，纵轴表示该时间里面声音的频率)，并把这个看成一个图片，输入给CNN，在语音上，只考虑在频率方向上移动filter，因为不同的人说同一句话时，在时间轴方向表现的图像应该大值是一样的，不同的可能只是说话的强弱或频率；
• 文本：word sequence的每一个word可以用一个词向量表示，如果两个word越接近，词向量在高维的空间上就越接近，被称为Word Embedding；将所有句子的word排在一起，并将其看成一个图片，输入给CNN，其中filter沿着句子里面词汇的顺序（即时间序列）来移动,然后通过Max Pooling和全连接层，得到结果。