ChatGPT发展历程

最新推荐文章于 2024-09-05 20:00:00 发布

驹意心猿

最新推荐文章于 2024-09-05 20:00:00 发布

阅读量2.6k

点赞数 1

文章标签： chatgpt 人工智能

本文链接：https://blog.csdn.net/q5926167/article/details/130989108

版权

ChatGPT是OpenAI的聊天机器人模型，基于Transformer和RLHF技术，提供自然、流畅的对话体验。从GPT-1到GPT-4，参数量和性能不断提升，应用涵盖对话系统、文本生成、机器翻译等领域。ChatGPT4在处理图像、上下文理解、安全性及多语言支持上取得显著进步。

摘要由CSDN通过智能技术生成

一、什么是ChatGPT

ChatGPT 是 OpenAI 公司推出的全新聊天机器人模型。GPT的全称：为”Generative Pre-trained Transformer“，翻译为中文为“生成型预训练变换模型”。他可以实现像人一样的交流，甚至完成写邮件、文案创作、数学计算等等功能。ChatGPT 还是基于 transformer 模型，通过引入人类反馈的强化学习（RLHF），大幅提高了 AI 在人机对话时的准确度和可控性。与其他 AI 对话机器人相比，ChatGPT 具有强大的语言理解能力和更丰富的语言表达能力，并且能够生成更自然、更流畅的文本，可以回答非常复杂的推理问题。

ChatGPT的原理是给它提供一个庞大的语料库（比如从互联网上抓取的各种各样的数据），然后让模型通过上千亿个参数对这些文本进行打散、标记、学习，构建起一个复杂的预测模型。

二、ChatGPT发展历程

GPT 功能越来越强大。从 2018 年 6 月 GPT-1 发布以来，模型参数量、预训练数据量越来越大，当前已经发展到 ChatGPT4（ChatGPT4-puls 也正在开发中）。

GPT版本	发布时间	数据参数量	预训练数据量
GPT-1	2018年	1.17亿	约5G
GPT-2	2019年	15亿	40G
GPT-3	2020年	1750亿	45TB
GPT-3.5	2022年	~17500亿	~450TB
GPT-4	2023年	~千亿级别	~百T级别

无监督学习 GPT-1。GPT-1 诞生于 2018 年，采用了 12层 Transformer 核心结构，通过自左向右生成式的构建预训练任务。GPT-1具有一定的泛化能力，能够进行自然语言推理、问答与尝试推理、语义识别分类。但是泛化能力弱，远低于经过监督微调的有监督任务。

多任务学习 GPT-2。GPT-2 诞生于 2019 年，同样基于 Transformer，相比于 GPT-1，GPT-2 采用了更多的网络参数和更大的数据集，最大模型共计 48 层，参数量达 15 亿。在性能上，在各种任务如阅读、对话、写小说等方面，效果都有所提高。

海量参数模型 GPT-3。GPT-3 采用 1750 亿个参数，规模是 GPT-2 的 117 倍，在不经过微调便可以识别数据中隐藏的含义。作为一个无监督模型，GPT-3 几乎可以完成自然语言处理的绝大部分任务，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成、自动问答、将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本等等复杂任务。同时，GPT-3 在两位数的加减运算任务的准确率几乎达到了 100%。但是 GTP-3 并不完美。最主要的问题之一就是聊天机器人和文本生成工具无法判断内容的质量和好坏，可以学习网络上所有文本，可能产生恶意的甚至攻击性的语言输出，影响落地应用。

基于人工标注数据和强化学习的 GPT-3.5（ChatGPT 原型）。ChatGPT 在一个开源数据集上进行训练，不过采用了更大规模的训练参数，ChatGPT 的训练参数是 GPT-3 的 10 倍以上。除了训练参数规模的变化，ChatGPT 还采用了颠覆式的迭代方式：人工标注数据和强化学习，其本质是加上了在 GPT-3 上去掉的微调步骤，从而实现了在与人类互动时从反馈中强化学习，即RLHF（Reinforcement Learning from Human Feedbac，人类反馈强化学习）。因此，ChatGPT 不仅可以理解人类不同指令的含义，也会甄别高水准答案，还能处理多元化的主题任务。既可以回答用户后续问题，也可以质疑错误问题和拒绝不适当的请求。

多态模型ChatGPT-4：ChatGPT-4，相较于GPT-3.5 得到了极大的提升，主要体现在以下方面：

1、输入文字长度：从3000字到25000个字，这样执行指令时就可以获取更多细节。

2、处理图像和文本：这是与 ChatGPT 3 的最大区别之一，前者只能理解或处理文本输入。除了文本之外，ChatGPT 4 还可以理解和解释图像。

3、情感、语境和语音感知能力：ChatGPT4 通过对更丰富、更多样化的数据进行训练，可以更好地感知文本中的语境和情感信息，并更精准地理解和表达人类的语言感受和情感状态。

4、零样本学习能力：ChatGPT4 引入了一种基于元学习的训练技巧，可用于在没有任务特定数据的情况下进行零样本学习。这意味着 ChatGPT4 已经具备了从少量数据中学习、推理和生成文本的能力，可以更快地适应新的任务，并更加灵活地应用于不同领域的应用场景。

5、上下文感知能力：ChatGPT4 引入了一种新的模型结构，称为细粒度拓扑网络结构，可以更好地感知和理解上下文中的信息，并更精准地生成相应的文本内容。这使得 ChatGPT4 在对话场景中更加智能化和人性化，能够更好地理解用户的意图和需求，并更准确地给出回复和建议。

6、对提示的响应能力：ChatGPT 4 在响应您的提示时将其创造力提升了几个档次。ChatGPT 3 擅长理解上下文，具体取决于您设置提示的方式，但ChatGPT4 可以更好地理解上下文，阅读字里行间，并理解细微差别。ChatGPT 4 更适合响应需要更复杂、更深入理解的提示。

7、领域专业知识：与其前身相比，ChatGPT 4 在微积分和法律等领域获得了丰富的专业知识，可以比人类更准确、更快速地解决复杂问题。OpenAI工程师测试了两个版本破解AP Calculus BC考试的能力，结果如下 - ChatGPT-4的得分与前10%的候选人相同，而ChatGPT-3的得分与后10%的候选人相同

8、学习语言能力：ChatGPT 4正在迅速成为多语言。它的英语熟练度为85%，而其前身为70.1%，它可以用25种语言回答，包括普通话，波兰语和斯瓦希里语。

9、更安全的响应：与其前身相比，ChatGPT 4 产生更安全的响应。在这种情况下，更安全意味着非歧视、非种族、一致并符合对话的一般道德标准。这就是 ChatGPT 4 的设置方式。虽然在 ChatGPT 3 的情况下，响应随着它从每天消耗的新数据中学习而演变，但 ChatGPT 4 从一开始就已经配置了良好的标准。不安全的响应可能会导致各种麻烦，而 ChatGPT 4 正在最大限度地减少这些麻烦。根据OpenAI技术报告，ChatGPT 3将产生6.48%的有毒回复，但ChatGPT 4仅产生0.93%的有毒回复