干货！​如何打造我们自己的“ChatGPT”？| 大佬思辨

于 2022-12-27 18:48:32 发布
阅读量1.5w 收藏 17
点赞数 4
文章标签： chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AITIME_HY/article/details/128463104
版权
AI TIME邀请业界专家探讨ChatGPT的技术、应用及未来发展，讨论大模型如何自我进化、性能局限性、在元宇宙中的应用以及可能对搜索引擎商业模式的影响。专家们认为，虽然ChatGPT展现出强大的对话能力，但在中文数据质量和特定领域的应用上仍有挑战，打造中国版ChatGPT需要解决数据、成本和专注度问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击蓝字

fec792603de2aff9f1ab0f161969e509.jpeg

关注我们

AI TIME欢迎每一位AI爱好者的加入！

a04d6c2ca2689f305e2d265baf147390.gif

火爆全网的ChatGPT究竟是什么？为什么这么强？ChatGPT会取代搜素引擎吗？ChatGPT凸显的能力会是metaverse的有力支撑吗？ChatGPT的火爆背后, AI发展路向何方?

2022年12月9日，AI TIME邀请了华为诺亚方舟语言语义首席科学家刘群、清华大学计算机科学与技术系副教授黄民烈、腾讯微信高级总监周杰、华为诺亚方舟实验室研究员尚利峰、智谱AI大模型事业部VP薛宇飞，北京聆心智能科技有限公司联合创始人，太魔人李文珏、香港科技大学哲学硕士生，太魔人赵俊杰，一起聊一聊ChatGPT。

ChatGPT可以理解为对话版本的GPT3.5，可以自动搜索信息，修复bug和撰写诗词、作文。ChatGPT一经发布便迅速火爆全网，一周之内达到了100万的用户量。埃隆马斯克甚至感叹：“我们离强大到危险的人工智能不远了”。

自2018年的BERT预训练模型被提出后，迅速刷新了各大NLP任务的榜单。NLP技术在近些年飞速发展，在许多任务上超过了人类的水平，近几年关于语言对话大模型的研究非常热门。

03652fe83b6bca7873fa356befdd4b68.png

技术领域

曾有研究人员计算得出目前互联网上的纯文本数据大多已经被大模型所使用。从技术角度而言，除了人类的反馈外，模型在语言端的自我进化该如何继续呢？

刘群：对于纯文本数据大多已被大模型使用这个说法，我觉得网上数据的更新还是非常快的。数据永远是不够的，即使是现在这个大模型也会有很多地方没有覆盖到。在数据比较充分的情况下，如今的ChatGPT可以表现得非常好，但是如果数据没有那么充分，还是会表现出很多问题的。

黄民烈：今天的ChatGPT的数据可能还停留在2021年，大模型如何持续的更新是一个比较重要的问题，涉及到如训练成本、学习性能等问题。这些动态信息如何包含进来？以前的模型怎样持续更新并进行持续的学习？这些都是我们后续需要思考的问题。

薛宇飞：AlphaGo是可以自我训练并迭代的，在我们的语言模型训练过程中，有没有可能演化出一种新的范式使得语言模型自我迭代并且变得更强大呢？

周杰：按照ChatGPT目前的训练过程，已经在和人类进行交互和反馈并获得数据的优化了，但是和刚刚提到的下围棋还是有着不小的区别。首先是迭代的速度，对话能够收集到的和下围棋棋盘上收集语料的速度是不一样的。另外就是收集语料的目标，围棋有着非常清晰的loss function即目标。但是语言可能不是一个清晰的目标࿰

最低0.47元/天 解锁文章
AITIME论道
关注
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 8
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 2
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 69
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 46
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 19
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
超越基准：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-15 293
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
CVPR 2025预讲会已邀50位讲者，讲者报名通道即将关闭
05-14 327
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025预讲会｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
大模型逻辑推理能力最新综述：北大、清华、UvA、CMU等联合发布
05-13 157
下图展示了一类通用的提升大模型回答的逻辑一致性的方法框架，首先对每个问题生成多个候选回答，然后对不同问题的回答计算逻辑一致性的违背程度，最后优化求解为每个问题选择一个最优答案使逻辑一致性的违背程度降到最低。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。” 这两个问题都回答 “是”，但对“喜鹊有翅膀吗？
博客
ICML 2025预讲会一作讲者开启招募啦！
05-12 512
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。今年，ICML将于7月13日-19日，在加拿大温哥华「温哥华会议中心」召开。4. 活动直播与论文解读文章相结合，内容沉淀，深度且持续地宣传。提出观点，表达想法，欢迎。
博客
本周大模型新动向：自动幻觉检测、多智能体强化学习、多模态数据压缩
05-10 693
受经典Gold-Angluin语言识别框架的启发，本文研究了一种算法是否能够在训练时仅使用来自一个未知目标语言K的样本（K是从可数语言集合L中选择的），并且可以访问LLM的情况下，可靠地判断LLM的输出是否正确或构成幻觉。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。提出观点，表达想法，欢迎。
博客
5.46亿个三元组数据集！蛋白质分子研究新范式
05-08 403
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。一年多以来，智谱BigModel 平台上涌现出的一批又一批的学者们，将智谱 GLM 模型应用于计算机科学、大数据与统计、材料化学、医学、法律、金融、传媒、社会学、心理学多样化的科研和教学场景中，驱动研究范式和研究工具新一轮的变革。
博客
多邻国爆火背后的 AI 教育逻辑：如何让学习像刷短视频一样 “上瘾”？｜Z Next 4月17日直播摘要
05-06 550
多邻国的 AI 通过BirdBrain 模型实现个性化出题（100% AI 生成题目）和自适应学习，例如根据用户水平动态调整对话难度的 “Video Call with Lily” 功能，让技术自然融入学习流程，用户无需感知 “AI 的存在”，却能获得精准训练。但是有一个思路是，现在的模型能力，对于语言类教育完全够用。AI 表现优异，可通过隐性化设计（如多邻国的自适应出题）提升学习体验，即使出现 “幻觉”（如语法错误），对初级学习者影响微乎其微，因用户核心需求是 “无压力练习” 而非 “绝对正确”。
博客
追寻AGI之梦 劳动创造美
05-01 391
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。CVPR 2025一作讲者招募中，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
学术助研招募 | 清华大学行为经济学与智能决策研究团队
04-30 408
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。CVPR 2025一作讲者招募中，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
线下活动报名 | 成都大模型产业交流会
04-28 513
在历史的长河中，蜀地以其深厚的文化底蕴和独特的地域特色，孕育了无数的创新与智慧。会议将搭建一个交流思想、分享经验、探索合作的平台，开启通往未来的创新之门，推动区域人工智能产业的创新发展，促进产业生态深度融合，助力成都千年蜀韵在科技的光辉下焕发新的活力。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
博客
本周大模型新动向：可解释性压缩、视频推理链、启发式奖励
04-27 1095
然而，现有的基于图的RAG方法主要关注粗粒度信息摘要，缺乏对特定查询的感知能力，且检索到的内容缺乏足够的上下文信息来生成全面的回答。实验结果表明，本文提出的方法，与显着减少的模型参数，通过一步采样，实现了较大的模型相当的性能。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。CVPR 2025一作讲者。
博客
ICLR 2025 杰出论文 | 模型编辑：必要性、短板与破局法
04-25 1072
（笔者展望，在LLM时代，零空间投影大有可为，例如：在保护LLM某种能力不受影响的同时，增强/削弱LLM在目标任务上的表现。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。原因也很简单，如上所述，模型编辑这个伏魔圈，它的使命，就是撑到下一次微调，或者说版本更迭的到来即可。但是，这并不代表判“模型编辑”死刑了。
博客
ICLR 2025 杰出论文 | Learning Dynamics of LLM Finetuning
04-24 1180
我们之前了解了SFT的情况，而DPO算法虽然看起来复杂，但通过链式法则进行导数计算后，最终的梯度仍然在这一项上，某些变种算法也如此。例如，中间部分显示的都是由GPT生成的内容，在学习这些序列时，它们之间的影响很大，但在语义上却毫无关系。的情况，指的是答非所问的序列。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 1097
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 1047
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值