- 博客(2)
- 收藏
- 关注
原创 NLP tricks 笔记本
持续更新……1.给模型做对抗训练,参考链接,https://www.zhihu.com/question/407992050/answer/1380752786无论是给词ids做随机掩码,还是对embedding layer进行反向梯度扰动,在模型能力足够的情况下都能够有所提升,具体提升效果看数据质量。2.先overfit,再寻找最优epoch,很多rnn模型在early stop的情况下可能效果不错,但是容易错过损失函数的最优点。3.防止过拟合不只dropout或者设置惩罚项,把最后几层的输出
2022-10-27 01:25:00 283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人