weixin_53287898的博客

报告了GPT-4的开发情况，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实世界的场景中， GPT-4的能力不如人类，但它在各种专业和学术基准上表现出人类水平的性能，包括在模拟的律师考试中，以大约前10%的考生的分数通过。 GPT-4是一个基于Transformer的模型，经过预训练可以预测文档中的下一个标记。训练后的调 整过程导致在衡量事实性和坚持理想行为方面的表现得到改善。这个项目的一个核心部分是开发基础设施和优化方法，这些方法在广泛的规模中表现得可预测。这使我们能够根据以不超过GPT-4的1/1000的计算量训练的模型准确地预测GPT-4的某些方面的性能。