NLP降临在我身边 10

有一篇写得很好的博客，我直接贴在前面：
https://blog.csdn.net/T7SFOKzorD1JAYMSFk4/article/details/80269127
由于不会用公式，不会代码实现，所以好多内容都没法写。可能会变成读后感之类的文字。
（赶快给我去补知识内容啊！）

卷积运算

卷积运算定义

引用一个很有名的表达方式：输出 = 系统（输入）
在卷积运算中，系统是卷积，名词翻译也会落实到卷积领域来。输入为input，系统为核函数即kernel function，输出被称为特征映射Feature map（这个map的翻译真是一言难尽）。

卷积运算的特点

我是从一个CV入门的项目里接触到卷积的，所以我在写这部分的时候满脑子都是那张特别直观的图。因为实在太直观了，以至于我没能从卷积的定义上理解，反倒是从应用角度来理解。所以我理解的特点没有数理基础，因此会显得相当单薄。
1）稀疏交互/Sparse Interaction：有些一言难尽的翻译，我还是说正事吧。
假如现在找一个只知道图像由像素点构成的孩子（对，就是一年前的我），让他想办法从图像中提取特征，那么他的第一想法就是去找像素点之间的联系。这很好，问题是一个256*256的小图都能有近六万个像素点，建立每个像素点和其他所有像素点的全连接，电脑内存分分钟爆炸。这样虽然可行，但是太惨烈了。
卷积的好处在于，在研究图像的组成成分的时候，建立的连接数会受到限制，从而使Interaction稀疏化。某种意义上讲，这种方式虽然失去了全连接的全面性，但是全面性的实现还有很多别的方法。卷积能够降低算力需求，因此得到广泛应用。
2）参数共享/Parameter Sharing：传统神经网络的权重矩阵用一次换一次，卷积神经网络对每一个位置的输入都使用同一个集合的参数，降低了学习难度。
老实讲这部分我没get到点，以后会慢慢补上的。
3）等变表示/Equivariant Presentation：这就触及到我的知识盲区了.jpg
等变表示的含义应该是改变作用于输入和输出是等效的。具体有什么作用、原理是怎么样的，我不清楚，我会后续跟进的。

卷积运算的代码实现

wsl dbq

反卷积

反卷积就是把卷积产物通过卷积流程所使用的参数再给逆推回去。

池化

这个好像叫pooling来着。我没有想懂池化跟卷积的联系，或者说在我脑子里这两个词都没有建立独立的认知，因为当年入门的时候都是写在一起的。所以下面的内容全部源自copy，请谅解。

池化运算的定义

通过统计方式得出某一位置相邻的输出的特征的替代。

池化运算的种类

平均池化：选择相邻区域特征的平均值作为池化值。
最大池化：选择相邻区域特征的最大值作为池化值。

池化运算的动机

池化运算是一种降采样，将输入内容的特征进行进一步的压缩与近似，从而降低输入内容的规模。可以保证特征不变的前提下，降低特征维度。能产生的效果之一是阻碍过拟合，当然还可能有其他的妙用，我现在还不了解。

Text-CNN原理

按理说图像跟文本的结构不一样，卷积迁移要做一些特殊的变化。先找找图像跟文本的共同点，都是信息。实际上处理文本的时候也是集中在特征与含义上，这一点图像也是一样的。
因此，从这个角度入手，将文本特征图像化。假如现在把特征塞进两个像素点里面，两个像素点之间应该有什么样的联系？第一是像素点自身代表的特征，第二是像素点的位置。“位置”是我们研究的重点，因为卷积倾向于将全连接裁剪成临近范围的连接，因此当我们把排成一长条的“文本”像素点进行卷积处理时，我们实际上就能得到一个池化过的特征集合。这种处理过程能够展示出词语内容的位置关联性，类似于N-gram倾向的作用。