创新实训个人工作日志（一）

本周工作总结

本周我和队友一起确定了关于评估标准的设计方案，最后决定从多个不同的角度去对问题生成系统进行评估，由于评估过程需要大量的对语句的判断，因此在本周就学习了一些关于分类的模型，发现他们大多是由CNN基础上进行改进，于是就去学习了CNN，预计在下一周开始选定一个模型进行训练调试。

学习成果汇总

以下是一些自己的总结体会，如有错误欢迎批判指正。

CNN结构与作用

1.1、输入层

卷积神经网络的输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组…对于文本的处理时可以使word2vec等方法通过词嵌入将文本转化为矩阵表示。

1.2、卷积层

卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量（bias vector），类似于一个前馈神经网络的神经元（neuron）。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，在文献中被称为“receptive field”，其含义可类比视觉皮层细胞的感受野 。卷积核在工作时，会有规律地扫过输入特征（从上到下从左到右），在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。如下图所示是一个二维卷积核提取二维数据的过程。

1.3、池化层

池化层是将卷积层的输出做与卷积相似的操作，减少输出维度，但是保存重要特征，如下图。

1.4、全连接层

全连接层等价于传统前馈神经网络中的隐含层，全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数 。
按表征学习观点，卷积神经网络中的卷积层和池化层能够对输入数据进行特征提取，全连接层的作用则是对提取的特征进行非线性组合以得到输出，即全连接层本身不被期望具有特征提取能力，而是试图利用现有的高阶特征完成学习目标，简单来说就是全连接层主要对特征进行重新拟合，减少特征信息的丢失。

1.5、输出层

输出层主要准备做好最后目标结果的输出。