2021年山东大学软件学院创新项目实训QG研发团队工作日志（三）

项目进度

我们小组于本周五进行了各自负责部分进度的交流与总结，对目前出现的问题进行集中的处理，以下是我们对目前项目进度的总结。

关于框架

由于我们的项目中无论是问题的生成还是对生成问题的评估，都计划使用深度学习的框架，但是我们是分工进行而非同步进行，问题也就因此产生。在开发的前期不会产生任何问题，各自使用深度学习框架，对数据进行训练即可。但是当我们在后期进行对接时，如果各自使用的深度学习框架不同甚至使用相同的框架但是版本不同，都会产生一系列的对接上的麻烦。为了杜绝此问题的产生，在本周的会议上我们决定统一使用PYTORCH1.3.1的框架，同时学习其对应文档。

关于项目的实现

1、评估标准

关于对生成问题评估的我们想过多个角度，最后商议决定从正确性、合规性、语义一致性和生成问题判断多个角度去评判。由于其中许多的技术实现都是基于CNN模型来实现，于是我们去寻找并学习了基本的CNN模型，以下是关于CNN模型学习之后的理解与总结，若有不当之处，欢迎批评指正！

1.1、CNN背景

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习的代表算法之一 。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”
在卷积神经网络中，卷积层的神经元只与前一层的部分神经元节点相连，即它的神经元间的连接是非全连接的，且同一层中某些神经元之间的连接的权重 w和偏移 b 是共享的（即相同的），这样大量地减少了需要训练参数的数量，这也是CNN的重要意义之一。

1.2、CNN结构与作用

1.2.1、输入层

卷积神经网络的输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组…对于文本的处理时可以使word2vec等方法通过词嵌入将文本转化为矩阵表示。

1.2.2、卷积层

卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量（bias vector），类似于一个前馈神经网络的神经元（neuron）。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，在文献中被称为“receptive field”，其含义可类比视觉皮层细胞的感受野 。卷积核在工作时，会有规律地扫过输入特征（从上到下从左到右），在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。如下图所示是一个二维卷积核提取二维数据的过程。

1.2.3、池化层

池化层是将卷积层的输出做与卷积相似的操作，减少输出维度，但是保存重要特征，如下图。

1.2.4、全连接层

全连接层等价于传统前馈神经网络中的隐含层，全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数 。
按表征学习观点，卷积神经网络中的卷积层和池化层能够对输入数据进行特征提取，全连接层的作用则是对提取的特征进行非线性组合以得到输出，即全连接层本身不被期望具有特征提取能力，而是试图利用现有的高阶特征完成学习目标，简单来说就是全连接层主要对特征进行重新拟合，减少特征信息的丢失。

1.2.5、输出层

输出层主要准备做好最后目标结果的输出。

2、关于问题生成

关于生成问题这部分，目前我们已经研究许多论文与相关的介绍，开始着手构思实现我们自己的生成方式，目前已经确定使用基于PYTORCH的框架开发，并开始阅读学习相关文档。

3、总结

经过俩周的磨合，在队长的带领下，我们的团队已经逐步走上正轨，习惯了彼此的处理问题的方式方法，开始了积极有效的交流，并且对短期计划有了详细的规划，同时对长期的进度阶段也有了讨论与构思，相信在未来可以与伙伴们取得不错的进展顺利完成项目。