文章讨论了GPT与BERT的区别，以及如何通过adapter技术将模型转化为专才或通才。提到了in-contextlearning和instruction-tuning作为增强模型能力的方法，同时引入CoT（ChainofThought）策略以提高推理能力。文章还探讨了自然语言处理模型的优化路径。
chatGPT走的通才的路线
语言模型比较知名的有GPT和BERT
不同点在于，GPT玩的是文字接龙，而BERT玩的是文字填空
Bert通常都是在期待1的情况下使用，我们通过改造将其发展成为一个专才
adapter看作插件就行，但是插在哪里合适得自己找
对于专才来说，如果有100个任务就要有100个大模型
但引入adapter之后我们可以在一个大模型的基础上加100个插件
如何让机器进一步成为一个通才呢
in-context learning 给模型例子（问题的描述），通过例子来学习，不过效果有点玄学
instruction-tuning 给机器训练时看各种各样的指示（范例），然后看人给机器指令后做出的回应
CoT的思路是在给出范例的时候顺便给出推论的一些过程，期待看到新问题时，能自己写成推论过程再写出答案
这几节课有很多这样的图表，看的一知半解的
还有另一种将问题分解简化 的方法
扫一扫
1172
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
