机器学习笔记—3（李宏毅版）

Convolutional Neural Work (CNN)

对图片进行分类

1.首先需要假设图片的大小都是相同的，将类别表示为 one hat vector ，该向量的长度表示分类的种类数量。
在机器学习中，一张图片是 3D tensor，分别表示图片的 长-宽-RGB，例如 100x100x3 ，将三维转换为一维向量，将这个一维向量当作 Network 的输入。
对于影像的特性，可以判断图像中的一些 图案pattern 来对图片进行分类，比如鸟的翅膀、喙，这样可以适当减少输入的参数，避免 over fitting，那么只需要输入图片的一部分。
设定一个 Receptive field，每个 神经元 关注一个 field，而不要关注整张图片，如关注 3x3x3 的区域，甚至，每个神经元 关注一小块区域的一个 channel 。**field之间通常应该是重叠相连的，因为 patern 可能出现在图像的任何一块区域。**field 的高和块称为 kernel size，一般作为 3x3，一组 neuron神经元 训练一个 receptive field ，filed 之间的距离叫做 stride，stride 一般应该小于 kernel size。有时一个 field在划分时会超出图片范围，那么 padding（超出图片的部分设定为全0）。
parameter sharing 共享参数，因为输入不同，即使参数相同，输出也不会相同，那么为了减少参数，可以让部分 神经元neuron 共享参数，共享参数的神经元训练不同的区域。共用一组参数成为 filter。 receptive field + parameter sharing = convolutional layer 减少参数，并且专门适用于影像识别。
每一个field 和 矩阵 坐特殊的一个乘法，将结果组成 channel，再和 filter 相比较。
Pooling 设计，在 convolution 之后，将图片变小，即为 Pooling，一般每几次 convolution 后进行一次 pooling，而近年来运算能力变强后，可以省略 pooling，flatten，将pooling和convolution输出的矩阵进行拉直处理。
在下围棋上的运用，19x19，黑子：1，白字：-1，无子：0，

Self-Attention 架构
输入有可能是一排向量，且长度不同，比如句子的文字处理。最简单的处理方法，开一个 One-hot Encoding，向量长度等于世界上的所有词汇数量。或者使用 Word Embedding。可以将语音信号，设置一个 window 窗口 ，每次向右移动适当长度的距离，这样就有了一堆长度相等的向量，对应窗口的不同起始位置。一个 Social Network 和分子也都可以看作是一组向量。
输入是一堆向量，那输出是什么呢？有以下几种可能性。
一、每个向量一个 label，输出有多少个向量，输出就有多少个 label，比如输出句子中每个单词的词性。
二、一组向量，输出一个 label，比如输入一个句子，输出这个句子表达的情绪是正面的还是负面的。
三、由机器自己做决定，输入一组向量后，输出多少个 label（seq2seq），比如语音辨识翻译，在作业5中会学习。
Fully-connected，如何在翻译或者词性辨识中考虑上下文？一个 Fully-connected 考虑前后多个单词。
Self-attention，输入一个 vector 输出一个 vector，而输出的 vector 是考虑到整个 句子 的情况下进行的输出，然后再 Fully-connected，可以将 Self-attention 和 Fully-connected 交替使用获得更好的结果。
Self-attention 具体是怎样进行的。b1 由多个向量 a1、a2、a3 相互关联输出，关联程度有多种计算方式。

CNN 是 Self-attention 经过人工指定参数后的受限制特例，而 Self-attention 是主动学习找到合适参数的 更加复杂的 CNN。
训练资料少时 CNN 训练效果更好，而 Self-attention 在训练资料多时效果更好。
Self-attention 是并行考虑，而 RNN 对于向量的考虑是串行进行的。从效率上来说，Self-attention 比 RNN 架构更有效率。