前段时间训练一个问答模型(QA)时,发现一个有趣的问题,模型采用LSTM技术,encode-decode架构(见下图)。使用小语料集训练,测试精准率还行,当语料集达到2000组时,问题来了,训练精准率很高,但测试精准率非常低。
小语料集与大语料集测试精准率对比:
测试精准率低的让人有点伤心,训练集增多,除了把batch_size改大,其它没有修改呀,感觉一点思路都没有了,被这个坑卡住了3天,毫无进展。某天,正看着窗外的爬山虎发呆,突然想起培训老师说过,“数据是一批一批训练的,训练完一批数据以后才更新一次梯度”,