基础版本实验:选用final hidden states, [h1, h2, |h1-h2|, h1.*h2], 以1:2构造正负例, 参考dssm(原文是1:4)
数据是4w的pair对
训练曲线如下图:
最终任务测试集上的准确率(和本任务中dssm的准确率做对比), 如下图所示:
本任务lstm singe (正:负 = 1:2) | 本任务lstm singe (正:负 = 1:4) | 本任务lstm singe (正:负 = 1:10) | 本任务lstm singe (正:负 = 1:30) | 本任务Dssm(正:负 = 1:4) |
top1ACC:0.811159 | top1ACC:0.832618 | top1ACC:0.793991 | top1ACC:0.611588 | top1ACC:0.802575 |
另外我们在本任务中的另一个测试集上也做了对比:
本任务lstm singe (正:负 = 1:4) | 本任务Dssm(正:负 = 1:4) |
top1ACC:0.629000 | top1ACC:0.617667 |
- 结论:
1. Dssm正负例比例1:4应该是多次实验的结果,正负例比例过于不均衡,会减弱准确率;
- 说明:
1. 本任采用测试集均为项目中的真实数据标注测试集,具有实际说明效应。
- 改进计划:
模型为初始版本,仍然还在改进中:
1. loss function: margin loss
2. 负例构造
3. lstm结构
4. NN层