作文自动评分
通常都是手工收集特征,使用回归方法去预测分数
4 模型
- lookup table layer: embedding 层,使用预训练好的词向量
- Convolution layer: 卷积层,提取局部特征
- Recurrent layer: LSTM层
- Mean over time: 所有隐含层状态平均
- Linear layer with Sigmoid activation: dense层打分
- 均方差损失函数: M S E ( s , s ∗ ) = 1 N ∑ i = 1 N ( s i − s i ∗ ) 2 MSE(s, s*) = \frac{1}{N} \sum_{i=1}^N (s_i - s_i^*)^2 MSE(s,s∗)=N1i=1∑N(si−si∗)2
- 对比一个开源的系统(http://github.com/edx/ease):这个使用手工提取特征
一些参数
- RMSProp: p=0.9
- learning rate 0.001
- mini-batch: 32, 50 epoch
- vocabulary size: 4000
- dropout: 0.5
- gradient clipped: 10
- embedding size: 50
- output dimension recurrent layer: 300
- cnn window size: 3, output dimension: 50
整个结构并没有什么难度,另外做了一些对比试验证明了现在这个结构的优越性
- LSTM, RNN, GRU
- CNN
- LSTM:avg(h), last(h), attentive(h)
- ensemble