入门大模型
1.LM 模型,简单来说就是利用自然语言构建的模型。
那么在计算机中,模型就是根据特定输入,通过一定计算输出相应结果的一个东西,可以把它当做人的大脑,输入就是你的耳、眼听或看到的文字,输出就是嘴巴说出来或手写出来的文字。
总结一下,语言模型就是利用自然语言文本构建的,根据输入的文字,输出相应文字的模型。
2.Transformer
Transformer是一种Encoder-Decoder架构,简单来说就是先把输入映射到Encoder。
3.GPT
GPT,Generative Pre-trained Transformer,没错了,就是ChatGPT的那个GPT,中文叫「生成式预训练Transformer」。生成式的意思就是类似语言模型那样,Token by Token生成文本,也就是上面提到的Decoder。
4.RLHF
Reinforcement Learning from Human Feedback,从人类反馈中学习