【1】It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners
使用了pet的语言模型：小模型少参数抗衡GPT-3
最近的预训练模型参数已经扩展到千亿个级别了，如GPT-3 。 很多时候训练这样一个巨大的模型带来的资源消耗也是不可低估的，这就给研究者的使用带来困难。
但是不是参数越多，模型越大性能就越好。改善后的语言模型仍然可以有类似的性能，但是参数数量却小上很多。
这篇论文将文本输入转换为包含任务描述的封闭问题，并结合基于梯度的优化来实现的；利用未标记的数据可以提供进一步的改进。通过小语言模型确定了成功理解自然语言所需的关键因素。
参数更少，性能更优
主要使用的方法就是上面一篇论文提出的Pet方法，并完成实验验证：在文本分类任务上，更小参数数量级的pet可以比GPT有更优良的性能
最低0.47元/天 解锁文章
1397
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
