- 博客(2)
- 收藏
- 关注
RSS订阅原创 CRAMMING: TRAINING A LANGUAGE MODEL ON A SINGLE GPU IN ONE DAY阅读笔记
有趣的是，我们在图2中观察到，虽然在全球范围内，大量的学习率形状会导致类似的损失减少，但我们发现，通过选择时间表，我们可以获得一些收益。为了验证这一点，我们实施了最近提出的FLASH机制，但没有发现任何好处.我们进一步实验了Lee-Thorp等人提出的Fourier注意，但没有发现任何改进.我们发现旋转嵌入带来的好处很小，但由于速度下降，这些都被抵消了，所以我们最终决定不这样做。此外，我们实验了长度课程（Li等人，2022）（见附录）和令牌丢弃（Hou等人，2022年），但在我们的设置中没有发现任何收获。
2023-02-22 17:04:44
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人