体验 GPT-4 后，回顾 OpenAI 发展历程及感悟

最新推荐文章于 2024-06-18 20:24:31 发布

ChatGPT4.0

最新推荐文章于 2024-06-18 20:24:31 发布

阅读量1.3k

点赞数

分类专栏： GPT 文章标签：人工智能机器学习 chatgpt

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/2301_77531618/article/details/130404583

版权

从 ChatGPT Plus 发布第一天就开始重度使用，刚刚和新发布的 GPT-4 进行了 20 多轮对话，来简单介绍下这几个模型背后的技术，并且分享下感受。

GPT 在发展历程中，一共经历了 4 个阶段，分别是 1、2、3、4。这几个阶段分别进行了不同思考，就好像三体中提出的几个公理，都很有意思。

一切的起点

第一代模型 GPT-1，当时的论文叫做「通过生成式预训练模型，来提升对于语言本身的理解」Improving Language Understanding by Generative Pre-Training。其中的 Generative Pre-Training，便是现在 GPT 的来源。在传统机器学习中，学者们更喜欢用标注好的东西来进行机器学习。比如我心情真棒（正面情绪），括号中的就是一个标注。

在这篇论文中，OpenAI 在想，这个世界上有如此丰富的语料，但大部分都是没有被标注的数据。虽然不好用，但我们可以通过对其学习，只要学的足够多，我们就可以培养模型对于语言表达的理解能力。

多任务学习者

第二代模型 GPT-2, OpenAI 手头拿着学会了语言模型，但的确是没什么用。他们就在思考，现在是能理解文字了，但是这什么也不能干呀，这个模型到底能做什么呢？在大量试验后，他们发现，人们以往认为机器学习中的自然语言处理，也许不一定需要划分成很多很多的子任务。

如果语言本身包含了这些信息，那么各类任务，都应该可以被统一学习。比如，传统思路中

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

ChatGPT4.0 CSDN认证博客专家 CSDN认证企业博客

码龄1年

98: 原创

59万+: 周排名

54万+: 总排名

40万+: 访问

: 等级

1844: 积分

2003: 粉丝

462: 获赞

46: 评论

2564: 收藏

私信

关注

热门文章

分类专栏

GPT 92篇

最新评论

ChatGPT的工作原理（纯干货，万字长文）
rrrr_2: 我如何才能够看懂这篇文章
ChatGPT在小红书文案实践
m0_57526903: 您好，ChatGPT 高效指令汇总大全【完整版】可以给一份吗,谢谢您
所有人都能懂的chatgpt背后相关的生成式模型
lorexiao: 在自然语言处理（NLP）和机器学习领域，**生成模型**和**判别模型**是两个不同的概念，尽管它们之间存在一些相似之处。让我们来详细探讨一下它们的区别： 1. **生成模型**： - **定义**：生成模型试图建模整个联合概率分布 P(X, Y)，其中 X 是输入特征，Y 是输出标签或类别。 - **目标**：生成模型的目标是预测数据的联合分布，以便从中生成新的样本。 - **应用**：生成模型常用于生成新的数据样本、填充缺失值、图像生成等任务。 - **示例**：朴素贝叶斯模型、隐马尔可夫模型（HMM）等都属于生成模型。 2. **判别模型**： - **定义**：判别模型直接建模条件概率分布 P(Y|X)，其中 X 是输入特征，Y 是输出标签或类别。 - **目标**：判别模型的目标是直接预测输出标签或类别，而不需要建模整个数据分布。 - **应用**：判别模型常用于分类、回归、文本情感分析等任务。 - **示例**：线性回归、支持向量机（SVM）等都属于判别模型。总之，生成模型和判别模型在建模目标、应用场景和方法上存在差异。生成模型关注整个数据分布，而判别模型直接预测输出标签。在实际应用中，根据任务需求选择适合的模型即可。¹²³ 希望这个解释能帮助您理解这两个概念之间的区别！🤓 源: 与必应的对话， 2024/2/22 (1) 机器学习“判定模型”和“生成模型”有什么区别？ - 知乎. https://www.zhihu.com/question/20446337. (2) 【机器学习】：判别式模型与生成式模型 - CSDN博客. https://blog.csdn.net/jesmine_gu/article/details/85759298. (3) 机器学习：生成模型和判别模型的区别 - CSDN博客. https://blog.csdn.net/qq_40765537/article/details/108897573. (4) 机器学习（八）：模型分类--生成模型和鉴别模型 - 知乎. https://zhuanlan.zhihu.com/p/130805799. (5) 终于有人把自然语言处理、机器学习、深度学习和AI讲明白了 - 知乎. https://zhuanla
所有人都能懂的chatgpt背后相关的生成式模型
lorexiao: 上面发的是的是copilot的回答。我放到评论区，只是为了收藏博主这篇文章后方便参考。
所有人都能懂的chatgpt背后相关的生成式模型
lorexiao: 在自然语言处理（NLP），**生成模型**和**判别模型**是两个不同的概念，尽管它们之间存在一些相似之处。让我们来详细探讨一下它们的区别： 1. **生成模型**： - **定义**：生成模型试图建模整个联合概率分布 P(X, Y)，其中 X 是输入特征，Y 是输出标签或类别。 - **目标**：生成模型的目标是预测数据的联合分布，以便从中生成新的样本。 - **应用**：生成模型常用于生成新的数据样本、填充缺失值、图像生成等任务。 - **示例**：朴素贝叶斯模型、隐马尔可夫模型（HMM）等都属于生成模型。 2. **判别模型**： - **定义**：判别模型直接建模条件概率分布 P(Y|X)，其中 X 是输入特征，Y 是输出标签或类别。 - **目标**：判别模型的目标是直接预测输出标签或类别，而不需要建模整个数据分布。 - **应用**：判别模型常用于分类、回归、文本情感分析等任务。 - **示例**：线性回归、支持向量机（SVM）等都属于判别模型。总之，生成模型和判别模型在建模目标、应用场景和方法上存在差异。生成模型关注整个数据分布，而判别模型直接预测输出标签。在实际应用中，根据任务需求选择适合的模型即可。¹²³ 希望这个解释能帮助您理解这两个概念之间的区别！🤓 源: 与必应的对话， 2024/2/22 (1) 机器学习“判定模型”和“生成模型”有什么区别？ - 知乎. https://www.zhihu.com/question/20446337. (2) 【机器学习】：判别式模型与生成式模型 - CSDN博客. https://blog.csdn.net/jesmine_gu/article/details/85759298. (3) 机器学习：生成模型和判别模型的区别 - CSDN博客. https://blog.csdn.net/qq_40765537/article/details/108897573. (4) 机器学习（八）：模型分类--生成模型和鉴别模型 - 知乎. https://zhuanlan.zhihu.com/p/130805799. (5) 终于有人把自然语言处理、机器学习、深度学习和AI讲明白了 - 知乎. https://zhuanla

大家在看

localStorage实现本地信息存储

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

ChatGPT4.0 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。