卷积神经网络以及文本表示学习（一）

下面会以卷积神经网络为开端，介绍文本表示学习：

一、回顾卷积神经网络

     卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC

                       

1.1 卷积层

      卷积层是卷积核在上一级输入层上通过逐一滑动窗口计算而得，卷积核中的每一个参数都相当于传统神经网络中的权值参数，与对应的局部像素相连接，将卷积核的各个参数与对应的局部像素值相乘之和，（通常要加上一个偏执参数），饿到卷积上的结果，如下图所示，将5x5的单通道image卷积得到3x3的图像参数。

                                          

      如下是一个三通道的卷积，由于图像是由RGB三个通道组成的，所以得到如下的结果，分别是第一层卷积以及第二层卷积如下：

      输入图像和卷积核的对应未知元素相乘再求和，最后再加上b，得到特征图。w0的第一层深度和输入图像的蓝色框中对应元素相乘再求和得到0，其他两个深度得到2，0，则有0+2+0+1=3即图中右边特征图的第一个元素3，卷积过后输入图像的蓝色方框再滑动，stride=2。同样使用第一张图（下图）来看，开始的三通道卷积得到48通道的神经网络，48通道得到128通道，也就是使用128的卷积核来进行卷积，才能得到128的卷积核。