NLP修炼之旅（Day10）

卷积运算的定义、动机（稀疏权重、参数共享、等变表示）。一维卷积运算和二维卷积运算。
反卷积(tf.nn.conv2d_transpose)
池化运算的定义、种类（最大池化、平均池化等）、动机。
Text-CNN的原理。
利用Text-CNN模型来进行文本分类

1. 卷积运算

卷积网络，也叫卷积神经网络(CNN)，是一种专门依赖处理具有类似网络结构的数据的神经网络。卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来代替一般的矩阵乘法运算的神经网络。
  卷积运算,在通常形式中，卷积是对两个变体函数的一种数学运算数据是。卷积运算对输入数据应用滤波器，例子：输入数据是有高长方向的形状的数据，滤波器也一样，有高长方向上的维度，假设用height,weight,表示数据和滤波器的形状，“核”又称滤波器。卷积运算以一定间隔滑动滤波器的窗口并应用，将各个位置上的滤波器的元素 和输入的对应元素相乘，然后现求和（有时这个运算称为乘积累积运算），然后，将这个结果保存到输出的对应位，将这个过程在所有位置都进行一遍，就可以得到卷积运算的输出
卷积运算通过三个重要的思想来帮助改进机器学习系统：稀疏交互、参数共享、等变表示。另外，卷积提供了一种处理大小可变的输入的方法。卷积网络具有稀疏交互（也叫稀疏连接或者稀疏权重）的特征

• 稀疏连接
  传统的神经网络使用全连接（矩阵运算），进行输入数据和输出数据之间的连接。其中，参数矩阵中每一个单独的参数都描述了一个输入单元和一个输出单元之间的链接，假设输入单元的数目为 m，输出单元的数目为n，则进行转换的参数矩阵数目为m∗n。当m和n非常大的时候，必然带来一个非常大的内存开销。但是卷积神经网络核函数的存在，我们只需要检测当前时刻核函数所覆盖的范围内，假设核函数的宽度为k，输出单元的宽度为n，则需要的参数矩阵数目为k∗n，一般情况下，核函数的宽度要远小于输入函数的宽度，这不仅减少了模型参数存储的需求，还增快了统计效率

• 参数共享
  参数共享是指在一个模型的多个函数中使用相同的参数。在传统的神经网络中，每一个参数仅仅使用一次，对应着固定的输入和输出神经元，比如参数表示第i 个输入神经元和第j 个输出神经元之间的连接权重。而卷积神经网络中的参数共享保证了我们只需要学习到一个卷积核函数，而不是像全连接神经网络一样在每个位置都学习一个卷积核函数。这虽然没有改变前向传播的计算时间，但是它显著的减少了参数的数目

• 等变表示
  对于卷积，参数共享的特殊形式使得神经网络具有对平移等变的性质。如果一个函数满足输入改变，输出也以同样的方式改变，就说它是等变的。 卷积对其他的一些变换并不是天然等变的，例如对于图像的放缩或旋转变换，需要其他的机制来处理这些变换

2.一维卷积

卷积运算的公式定义：$$y(k)=h(k)\ast u(k)=\sum _{i=0}^{N}h(k-i)u(i)$$

3.二维卷积

二维卷积计算公式：$$y(p,q)=\sum _{i=0}^M\sum _{j=0}^{N}h(p-i,q-j)u(i,j)$$

4.反卷积

反卷积（tf.nn.conv2d_transpose）过程如下：

​