大模型训练经验

1.模型训练好后预测全是起始符号。

解决办法：训练数据的输入输出去掉起始符号。

2.模型训练后学不到有效信息。

加大epoch，我加大到了1000。

3.模型训练后预测没有结束符，暂时未解，另外，发现当训练不足时，能正确学到结束符。