hanmo22357的博客

研究时间：与Instrcut GPT同期的工作，虽然其比ChatGPT发布更晚，但是其实完成的时间比ChatGPT更早。与ChatGPT的应用区别：该模型比ChatGPT回答我不知道的概率更高。将强化学习用于大语言模型（RLHF）：发现这种方法可以提升几乎在所有NLP任务上的性能。随着参数的增加，效果也越来越好。如果模型经过了强化学习的辅助，效果会进一步提升；如果经过了有用性的训练，模型会有更大的提升；但是如果经过了有害性的训练，模型的有用性会下降，非有害性会提升。模型不断更新：每个星期用一个新的奖

文章目录引言方法限制结论引言大语言模型在zero-shot和few-shot情况下，在很多下游任务中取得了很好的结果。大模型存在的限制：无法获取最新的信息、无法进行精确的数学计算、无法理解时间的推移等。这些限制可以通过扩大模型规模一定程度上解决，但是效果并不好。一个简单的方式用于处理这些限制就是让大语言模型能够调用外部工具。现有的通过调用外部工具的方式需要大量的人类标注，或只能针对特定的任务使用工具。Toolformer对使用工具的能力的学习是通过自监督的方式进行的，因此不需要大量的标注；同时

多模态的模型：GPT-4是一个多模态的模型，可以接受文本或图像的输入，但是只能以纯文本的形式给出输出。OpenAI的实验表明，通过结合图像输入，GPT-4能够取得更好的回答效果。GPT的训练完成：早在2022年8月，OpenAI就已经完成了GPT-4的训练过程，但是在后面的这段时间都在对GPT-4进行持续调整。借助用户对回答的评价：GPT-4在训练过程中，通过借助用户对模型回答的评价来帮助模型性能的提高。专门搭建的训练集群：OpenAI专门搭建了一个计算机集群用于GPT-4的训练。此前，该集群也被用