chatGPT模型原理和未来影响

本文参考视频资料：【渐构】万字科普GPT4为何会颠覆现有工作流；为何你要关注微软Copilot、文心一言等大模型_哔哩哔哩_bilibili

一、chatGPT版本对比

参考资料：chatGPT的输出结果

全名：Chat Generative生成 Pre-trained预训练 Transformer模型结构

版本	公布时间	升级版本内容	版本底层原理	训练数据容量	参数数据	升级具体内容	优势	劣势
GPT-1	2018年6月	首次发布的GPT，展示了生成预训练转换器的有效性。	基于Transformer架构，通过生成式预训练实现。	40GB文本数据	1.17亿	首次引入生成预训练转换器。	展示了GPT模型的潜力。	生成文本质量有限，易出现重复和不相关内容。
GPT-2	2019年2月	显著增加了模型参数，并展示了更强的生成能力。	延续了GPT-1的Transformer架构，并增加了参数。	570GB文本数据	15亿	增加参数和训练数据，提升生成效果。	生成文本更自然，增强了模型的实用性。	模型规模增加导致计算资源需求增大。
GPT-3	2020年6月	大幅增加了模型规模，显著提升了生成文本的质量和多样性。	进一步扩展Transformer架构，并采用大规模训练数据。	45TB文本数据，开始超大语言模型(LLM)	1750亿	显著扩大模型规模和数据量，增强生成能力。	生成文本质量和多样性显著提升。	计算和存储资源需求极大，可能存在偏见和安全问题。
GPT-3.5	2022年12月	改进了基于GPT-3的模型，进一步优化生成效果和响应质量。	改进的Transformer架构，优化了模型参数和训练数据。	45TB文本数据	1750亿	进一步优化模型参数和数据，改进生成质量。	生成效果更好，响应更自然。	仍然存在资源需求高和可能产生不良内容的问题。
GPT-4	2023年3月	引入了多模态能力，可以处理文本和图像输入。	多模态Transformer架构，可以处理不同类型的输入数据。	未知，但包括大量文本和图像数据	未知，但明显增加	引入多模态处理能力，支持文本和图像输入。	支持多模态输入，增强了应用场景。	多模态处理复杂度高，资源需求进一步增加。

二、GPT的工作原理：GPT是如何回答问题的？

单字接龙：ChatGPT的实质功能是单字接龙：用「自己的模型」去生成「下一个字」

自回归所生成：长文由单字接龙的自回归所生成

提前训练：通过提前训练才能让它生成人们想要的问答，训练方式是让它按照问答范例来做单字接龙，这样训练是为了让它学会「能举一反三的规律」

2.1 GPT与搜索引擎的区别和优缺点？

「生成模型」与「搜索引擎」非常不同，搜索引擎无法给出「没被数据库记忆的信息」，但生成语言模型可以，还能创造不存在的文本，这正是它的长板；

缺点是可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料。

模型是一个黑箱，无法对模型直接进行增删改查，所以难免会带来安全风险，并且更新效率低。

2.2 ChatGPT在GPT基础上的增加了三个训练阶段

像电子鹦鹉跟电视学习知识

第一阶段：2018开卷有益（无监督学习）懂王鹦鹉

难点一：NLP难点让模型理解不同种问法的同一问题（语义关系，语法规律）

解决方式：模型看到尽可能多、尽可能丰富的「语言范例（学习材料）」，使其有更多机会建构出能举一反三的语言规律，来应对无数「从未见过的语言」。

GPT-1时是5GB，1.17亿参数；

GPT-2时是40GB，15亿参数；

GPT-3时是是45TB，1750亿参数，量变产生质变涌现出了惊人的能力。

第二阶段：2019模板规范（监督学习）规矩博学鹦鹉

难点二：输出的结果难以控制，胡乱回答。

解决方式：输入要求，优质的chatGPT应答内容范例。

• 明确明天新闻内容，未来问题

• 矫正提问的问题

• 是不是按照问题可扩展具体原因，提问，问答，原因

预训练的好处：避免人工标准成本过高，保证语言多样性

chatGPT3意外产生，语境内学习

1、理解指令要求的能力，抽象描述给出处理结果

2、给出例子，生成新内容

3、思维链条（分步骤回答问题更为精准）

第三阶段：2020年创意引导（强化学习）规矩博学又会试探的鹦鹉

难点三：过于标准模板化，人文问题的多样性无法保证，提高创新性

解决方式：直接提问，自由回答，给予奖励

三、未来影响

影响：1、革命意义展现了大语言模型的可行性。吸引国家和大量企业投入研究。

影响范围：全人类，电脑的生产影响人们生活方式。

• 语言模型：精通语法，语言规则校验，翻译，句式转换

• 存储人类有史以来的全部知识：语言积累知识的重要性

  • 纸质文件转为电脑电子文档，需大量人整理固定格式

• 自然语言处理NLP：机器理解自然语言，2、人类群体通过语言处理来实现「知识的创造、继承和应用」

  • 语言模型理解：只知道符号意思

  • 人类理解：多了语言符号和指代关系（苹果具体的形状，味道）

机器处理语言有着速度快、记忆大、覆盖广、无疲劳的优点

大语言模型能减轻语言处理工作,改变人与人、人与机器的协作方式

人类的理解和机器的理解不同,语言模型不知道符号的指代

大语言模型对社会的未来影响,相当于口语、文字、电脑、互联网对社会的影响

对教育界、学术界、新闻界、内容生产行业的影响颇深

它将方便人类对既有知识的继承,推进教育去培养高层次人才

也将带来网络安全和社会安全的新挑战

四、应用场景

1、应用扩展场景

搜索引擎：帮助用户精确寻找和筛选信息。eg，微软的bing:使用Copilot语言模型

笔记工具：辅助阅读和翻译

办公软件：辅助文字处理，数据分析和演示

教育培训：个人定制化学习计划和建议

开发工具：辅助代码开发，调试纠错

数字人：人工客服，24小时直播

视频会议：多语翻译，会议记录，总结，谈话关联

社交媒体：关联搜索结果，个性化推荐音乐，电影，小说等

游戏：游戏开发开放结局，NPC自然对话

2、主要影响行业

新闻界：知识的快速整理和转播

学术界：专注于创造和整理知识

教育界：传输知识，人人都将拥有超级大脑，存储人类既有知识。

• 现状：普鲁士教育，批量培养易于管理和服从权威的国民。契合前两次工业革命市场对人才的需求。

• 影响：终身学习人才培养模式，知识不再固定，工具变化频繁，利用chatGPT培养学习新知识的方法和创新人才。

商业界：对知识变化感知敏锐

3、面临问题

危害言论和答案：诱导犯罪答案。

数据安全问题：无法保证各个国家的联邦分析，各个国家只能有一个模型。

五、人类面对chatGPT如何发展

1、正确的使用：学会使用chatGPT相关工具，克服抵触新工具情绪：真正本质不是害怕chatGPT，而是害怕被chatGPT所取代。

2、训练自己终身学习能力：积极拥抱学习，培养自主学习和创造能力。