【论文笔记】A Neural Approach to Automated Essay Scoring

作文自动评分

通常都是手工收集特征，使用回归方法去预测分数

4 模型

• lookup table layer: embedding 层，使用预训练好的词向量
• Convolution layer: 卷积层，提取局部特征
• Recurrent layer: LSTM层
• Mean over time: 所有隐含层状态平均
• Linear layer with Sigmoid activation: dense层打分
• 均方差损失函数：$$MSE(s,s\ast )=\frac{1}{N}\sum _{i=1}^N(s_i-s_i^{\ast }{)}^2$$
• 对比一个开源的系统（http://github.com/edx/ease）：这个使用手工提取特征

一些参数

• RMSProp: p=0.9
• learning rate 0.001
• mini-batch: 32, 50 epoch
• vocabulary size: 4000
• dropout: 0.5
• gradient clipped: 10
• embedding size: 50
• output dimension recurrent layer: 300
• cnn window size: 3, output dimension: 50

整个结构并没有什么难度，另外做了一些对比试验证明了现在这个结构的优越性

• LSTM, RNN, GRU
• CNN
• LSTM:avg(h), last(h), attentive(h)
• ensemble