以4%参数量比肩GPT-3！Deepmind 发布检索型 LM，或将成为 LM 发展新趋势！？

于 2022-01-12 12:05:00 发布
阅读量825 收藏 2
点赞数
文章标签： 人工智能 机器学习 大数据 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/122485988
版权

d966549d1284e3393f2a6d20cf146ea5.png

文 | ZenMoore
编 | 小轶

GPT3 一声枪响，给 NLP 带来了大模型风潮。这么长时间过来，无论是中文还是英文，模型越做越大。当然，这确实是符合逻辑的，因为如果以人脑为向导的话，那么多神经元，不得不需要大参数量来模拟。但是，过于关注“大”本身，是存在很多问题的：一方面，模型规模增大带来的性能增益逐渐饱和，让我们不得不思考“精”这个维度；另一方面，大模型实在臃肿，在部署成本、下游任务适配、绿色、边缘化等等方面，有着难以解决的劣势。

因此，大模型发展至今，我们同样需要重点思考的，是如何把模型做精做强，如何把模型轻量化而效果不减！ 毕竟，模型之大有涯，而知也无涯！以有涯随无涯，殆已！

当然，2021 年出现了很多轻量化模型相关的工作，他们的 Motivation 基本都是采用一系列技巧，把模型的 size 减下来，但是 performance 依旧不输给 GPT3、Megatron等等超大模型。例如：使用 Prompting 技术的 T0 模型；使用知识增强、训练策略改进、压缩蒸馏、Prompting 等一系列方案的中文孟子模型 等等。

DeepMind 最近也入局了 NLP 模型，上来就是一套组合拳，总计三篇论文：

  1. 280B 参数的 Transformer 语言模型：Gopher

  2. 大模型的伦理与社会风险研究

  3. 检索增强的自回归语言模型：Retro

我们重点聊一聊第三篇：使用检索增强的方式，不仅减小了模型的参数量，而且效果也非常能打！因此不失为模型轻量化的又一条路：把模型做成 Open System ！

论文标题:
Improving language models by retrieving from trillions of tokens

作者机构:
DeepMind

论文链接:
https://arxiv.org/pdf/2112.04426.pdf

2b8d66570b7b464cfbccf41a599bb265.png方法02fd26f28233d66e7bdf0036b523d524.png

776969cf6d831b79f703884d2349e0f2.png

1. 检索增强的自回归语言模型

从输入开始，首先将输入文本均分为 个块(chunk), 每个 chunk 总共 个 tokens, 即输入文本长度为 . 这些 chunk 分别 记为 . 对每个 , 从 Rertieval Dataset 召回 个 neighbours, 记为 或者 .

因此，目标函数，即序列的对数似然公式如下：

需要注意的是，.

整个模型的结构是基于 Transformer Encoder-Decoder 的。

2. kNN 检索

然后介绍 Frozen kNN Retriever 部分。

首先有一个事先搜集好的 Retrieval Database (数据来源：MassiveText), 总共有 5T tokens 的数据量。将他们以键值对的形式一个 chunk 一个 chunk 地存储起来（不得不说，DeepMind 还是壕啊...）：

  • 值：包含两个组分，记为 , 其中， 是 text token chunk, 是这个 token chunk 在数据源文档中的接续文本 (continuation)

  • 键：即对应的 BERT embedding, 记为 (这里的 BERT 是训练好的，参数不会改变)。

这样，计算输入文本 chunk 的 BERT embedding，将其与 Retrieval Database 中的各个键计算 距离，作为度量，就可以得到这个输入文本 chunk 的 个 nearest neighbours.

3. Retro Model

96fcd19f88bc8bbd0f25ca220d8c8c38.png
▲Retro 算法流程

接下来介绍 Retro 模型的主体部分，包含 层 Encoder, 以及 层 Decoder.

首先记输入文本的第 个 chunk 的 activation 为 .

在 Decoder 部分，定义一个整数集合 ，决定哪些层需要使用 Retro-block, 然后其余层均使用 Transformer 原版 Decoder 层即可。即：

同样地，在 Encoder 部分，也有一个对应的 .

我们这里不聊 Transformer 原版的 Encoder 或者 Decoder 层，只聊新的 Decoder (即 Retro-block) 和新的 Encoder.

新的 Encoder :

对于第 个 chunk 的 第 近邻的 retrieval neighbour, 我们使用这个方式对其进行编码：

这样就能以一种可微分的方式将输入文本的信息融合到 Retrieval Encoder 里面，从而控制 Retrieval Neighbour 的编码。

新的 Decoder :

这个的核心在于 Chunked Cross-Attention(CCA). 首先以 Figure.2 右侧图的方式，将 分割为 个 attending chunks, 分别记为

然后计算 和 的 cross-attention, 即

其中，cross-attention 这样计算：.

最后，在 Transformer 的实现上，还有两点小小的细节：

  1. LayerNorm 替换为 RMSNorm

  2. 使用相对位置编码 (relative position encoding)

4. 数据泄露的量化

除了模型上的改进，作者为了让自己的工作更加严谨有说服力，还针对大规模 Retrieval Database 以及训练集常见的数据泄露问题，提出了更加科学的定量分析方法，可圈可点！

这个问题其实非常自然，训练集、测试集都来自互联网，规模大了，测试数据很容易泄露（即测试集数据出现在训练集中），很多工作对这样的问题睁一只眼闭一只眼，但其实，在卖萌屋往期的推文也谈到过，这非常的不严谨！有没有什么解决办法呢？

首先对于每个测试集(或者验证集)的 chunk , 从训练集中召回 10 个 nearest neighbours, 计算 与这些 neighbours 的最长公共子序列长度，记作 . 定义 ，用来表征测试集(或验证集)中的 chunk 和训练数据的重合程度。另外，再记 编码的字节数为 , 的对数似然为 ，对 设置一个阈值 ，就可以定义一个新的评估指标 bits-per-bytes(bpb) :

bpb 值越小，模型的效果越好，同时，可以用阈值 来控制对数据泄露问题的容忍度，即 越小，bpb 越能代表无数据泄露时的模型效果，另外，bpb 的斜率还能表征模型对泄露数据的依赖度 (how much the model exploits evaluation leakage).

5. 与其他检索方法的对比

a5fb218923f4725d4597f69781236253.png

作者在这个表中总结得很明白，就不赘述了（溜...

025939e7c7bdf562cfdf227f811e87de.png实验结果6fd5fab4e48d9ba9f30d3137b313fb1b.png

  • Baseline 基本是原版的 Transformer，没有使用 Retrieval 进行增强，改动仅限于 RMSNorm 和相对位置编码

  • Retro[OFF] 指的是在 evaluation 阶段，Retro 是不带 Retrieval 的

  • Retro[ON] 就是上面介绍的完整的 Retro 模型

e13f0f8daf9f4521b9af7e22f656c79a.png
▲注意：纵坐标越小，模型越好

  1. 第一张图：蓝色的圆点代表 172M 的 Retro[ON], 红色的三角代表 7.5B 的 Baseline，这两个效果差不多，证明了 Retrieval 确实可以在保证模型效果的前提下，缩减模型的参数量

  2. 增大 Retrieval Database 的规模，可以有效地提升模型效果

  3. Retrieval Neighbours 的数量也会影响模型效果，但是有一个最优点

23ccdbb56946b579702469f15f113591.png

  1. 不同 model size、不同模型在各个数据集上的效果，可以看上面这张图

397a1647bcf3e1c055e5a3778a64553f.png

  1. 这里挑一个 retrieval intensive 的下游任务——Question Answering. 可见，Retro 仍然战胜了不少模型。（至于为什么比 FID 等略逊一筹，主要是因为 FID 等使用的是 T5-style model，这些模型更加依赖于 encoder output, 而这是影响 QA 性能的关键）

  2. baseline 模型可以快速灵活地 finetuned 为 Retro 模型，同时效果与 trained from scratch 的模型相比，基本相同。这个结论感觉还挺重要的，有了这个结论，我们就能够非常灵活地将现有的模型进一步精调成检索型模型，而不需要重新进行漫长的预训练。

  3. 使用作者这种数据泄露问题的定量分析方法，可以证明 Retro 模型的效果增益，基本和数据泄露没有关系。另外，也提倡学界、业界重视起这个问题来，让实验更加严谨！！！

46a55fff48ad5df4bc1431573c218083.png写在最后c376849de8279a2ca2ca1ea5dced5a98.png

DeepMind 很善于从人类身上汲取创造智能的灵感，这一波的灵感是：人类学习的过程，不仅仅是对当下知识的整合，还包括对记忆的检索，甚至包括对学习资料的检索。那么，这样一个检索型的语言模型，是非常自然的想法。

另外，虽然作者进行这个工作的初衷并不一定是模型轻量化，但是从它 10x 的参数缩减量来看，确确实实给轻量化提供了一个新的思路。无论是为了 training efficient, 还是为了 green, 模型的轻量化任重而道远！正如孟子模型的开篇语引用的话一样：“以力服人者, 非心服也,力不赡也。权,然后知轻重;度,然后知长短。” 把模型做精做强，也是我们应该考虑的核心问题。

笔者还有一点思考是，当下的语言模型大多是 closed system ：输入数据训练，训练完之后“包裹”起来使用。但是，封闭式系统就意味着，在使用模型进行 inference 的时候，不能“查资料”，是“闭卷考试”，这样真的合理吗？我们都知道，对人类来说，这个世界不会被排除在外，我们一直都在做“开卷考试”：写作时，难免查一查词典，翻一翻名著；编文案时，难免上网找一找灵感，看一看模板。相信对于机器来说，也更需要一个 open system，毕竟 “知也无涯”，而 “模型之大有涯”！以有涯随无涯，殆已！

ab86af5452a6739df7cc1db9612fb330.png萌屋作者：ZenMoore

来自北航中法的本科生，数学转码 (AI)，想从 NLP 出发探索人工认知人工情感的奥秘... 个人主页是 zenmoore.github.io, 知乎 ID 是 ZenMoore, 微信号是 zen1057398161, 嘤其鸣矣，求其友声！

作品推荐

  1. 一文跟进Prompt进展！综述+15篇最新论文逐一梳理

  2. 图灵奖大佬+谷歌团队，为通用人工智能背书！CV 任务也能用 LM 建模！

a31c1bdecf98d684a5c982c9727f7dfc.png后台回复关键词【入群】

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会】

获取ACL、CIKM等各大顶会论文集！

bb88d91f4432c4bb207156a8f71f4a88.gif f9f9c925945f5493e39e77538f3572ef.png

[1]. Language Models are Few-Shot Learners: https://arxiv.org/abs/2005.14165
[2]. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism: https://arxiv.org/pdf/1909.08053.pdf
[3]. Multitask Prompted Training Enables Zero-Shot Task Generalization: https://arxiv.org/abs/2110.08207
[4]. Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese:https://arxiv.org/pdf/2110.06696.pdf
[5]. Scaling Language Models: Methods, Analysis & Insights from Training Gopher: https://arxiv.org/abs/2112.11446
[6]. Ethical and social risks of harm from Language Models: https://arxiv.org/abs/2112.04359
[7]. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering: https://arxiv.org/pdf/2007.01282.pdf
[8]. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer: https://arxiv.org/abs/1910.10683
[9]. Multitask Prompted Training Enables Zero-Shot Task Generalization: https://arxiv.org/abs/2110.08207
夕小瑶
关注
博客
OpenAI员工流失的背后：地盘争夺、倦怠、薪酬要求
09-29 394
说实话，除了Jan Leike表现出了非常强大的怨念以外，其他人的离职长文都没有实质性可以扒出来的内幕，但是仔细咬文嚼字的话，倒是能发现一些盲点：很多人感觉在OpenAI工作很累，尤其是Greg Brockman和Bob McGrew，大家都想拥有一些自己的时间。但很明显，AI发展没有一条明确的主线，初期的参与者们也相对比较纯粹，多数OpenAI员工都把精力倾注在研发上，没有明确安全or进步的倾向，也没有宏大到拯救人类命运的理想和路线，Ilya如此果断的弹劾，反而给员工们传出了一个危险的信号。
博客
LLM 我们距离应用还差什么？
09-27 471
这固然有当前模型的基础能力尚没有那么强大的原因，但是我们要知道，任何一个破坏性创新的技术，其推出产品的时候，都不是那么完美的，都是靠着市场上真正的需求来完成自身的迭代，在市场上占据住自己的位置。实际上，理想态也应当是，大模型作为一切的中控，去决定每一步需要使用什么样的信息，辅助自己解决问题。的工作流程，其最直观的任务的确是数学题和逻辑推理，但真正的应用点显然不是这两个领域，甚至可以说，过于执着于这两个领域，可能会让模型能力走向一个非常奇怪的方向，甚至O1出现后，一些badcase，似乎也佐证了这一观点。
博客
o1的提示词：简单才是王道！
09-24 842
在早期o1模型上的实验验证，研究团队发现，在考验模型推理能力的最主要测试-数学中，o1已经开始显露大幅提升了效果！随着模型规模的增长，这种涌现的能力会自然出现，特别是当模型面对多样化的任务时。在过去，AGI的概念似乎是抽象的、遥不可及的，但是当亲眼见证大语言模型AI能够在过去人类做的好的事情上做的更好，研究团队们开始相信AGI是总有一天会到来的！研究团队谈到，当他们认识到自己想做一个具备推理能力的模型，首先想到的就是人类记录其思维推演的过程，所以，他们在这样的动机下，开始设计、训练模型。
博客
大模型的威力，远不只是聊天框
09-22 675
事实上，人和人交流的时候，应当是不会写那么“不是人话”的复杂指令的，或者那么一长串的prompt，因为人也听不懂，也记不住（短时记忆空间根本没法支撑那些信息量，肯定得反复澄清），更多的还是一步一步培训，让人形成习惯，为什么到了比人弱一些的大模型（确切说，大模型的确在文本的阅读能力和“短时记忆”能力上一定程度是超过人的，但是理解能力嘛……当然，前面笔者一直说聊天框是低效的，但它不是没有价值的，它是我们直接和大模型交互的媒介，就如同操作系统的终端，我们可以通过它直接让大模型去执行一些指令，去观察它的能力。
博客
读博对心理有持续负面影响？终于有论文证实了！确实是真的！
09-22 733
因此，研究团队收集了2006年至2017年间在瑞典入学的所有博士生，排除了无法进行时间长度的实验分析的未在瑞典接受大学教育的博士生，以及因其他愿意导致记录不完整的样例，最后符合实验样本要求的共计20,085名博士生。研究者们在图1展示了统计获得的描述性证据-博士生在开始博士学习前、后几年内获取精神病药物的比例，这份数据与同期未就读博的普通低学历人群（学士以下）和高学历人群（学士、硕士）的对照组进行了比较。博士生在入学的前几年内，使用精神病药物的比例与拥有相应硕士学位的对照组相似，低于普通人群的对照组。
博客
阿里发布史上最大规模开源全家桶！千问2.5系列发布
09-20 781
在预训练的层面，QwenMath和QwenCoder的训练思路很像，两个模型都采用了混合数据策略，将代码、数学和一般文本数据结合起来，以平衡模型在特定领域（如数学或编程）和通用语言理解方面的能力。此外，要知道，代码场景对context的长度要求是很高的，动辄丢个代码库进去，因此Qwen2.5-Coder 则通过 YARN 机制和 repo-level 预训练来增强了长文本处理能力。在通义APP的背后，就是这个模型。这个模型可以说是通义千问系列模型中旗舰模型，效果最好，当自然，最好的东西是最贵的。
博客
英伟达Jim Fan预测：未来2~3年机器人将迎来“GPT-3时刻”
09-20 734
所有移动的东西最终都将是自主的，对于机器人模型，我觉得我们还没有突破架构的极限。人类社会是围绕人类的化身、人类的外形因素构建的，我们所有的餐馆、工厂、医院以及所有设备和工具——它们都是为人类形态和人类双手设计的。GR00T 驱动的机器人，将能够理解自然语言，并通过观察人类行为来模仿动作，来快速学习人类身体的协调性、灵活性和其它技能，以适应现实世界并与之互动。另外，将快速、无意识的运动控制，与较慢、有意识的规划和推理过程，集成到同一个模型中，并让这个模型可以同时运动和推理，依然是机器人尚待突破的技术壁垒。
博客
AI美女屠版小红书火了，被当真人推流，颜值博主慌了
09-20 850
如果不出现文字元素，恐怕是很难发现的，为了追求美，本来大部分照片就是精心修过的，本身就没那么真，跟“追求真”的AI一比，反而显得真人不真，AI不假了。几个月之前，AI生图最大的弊端还是手，比如“四指、六指、手指畸形”，大家还可以抠细节，看看手指是否自然就能大致判断，但是现在已经不奏效了。这种情况的出现，可能还要归功于小红书的推荐逻辑，对美的、精修过的“真实”照片偏好，平台会给予很大的流量支持。而更可怕的是，如果你去小红书搜索“美女”，蹦出来的图片，你真的能分清哪些是真人，哪些是AI吗？
博客
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局
09-09 929
我想先把这个“学校”的课程做成本科水平的课程，所以如果你是技术专业的本科生，你应该会很感兴趣。我做这些主要是因为我们现在的教育观念或许有些过时——在学校里上课、然后完成学业、然后就走向社会工作。我觉得随着AI的发展，这个观念会逐渐被淘汰。现在技术变革非常迅速，人们很快就会想“我要回学校学新的技术”，并且频率会越来越高。但我想说，任何年龄都应该学习，活到老学到老。这也是我做Eureka Labs的目的，只是我还需要时间去完善它，可能到年底或者明年年初就能做好第一堂课。
博客
还没产品，靠人才就吸金10亿美元！Ilya新公司仅10人团队估值50亿
09-06 763
昨晚，Ilya Sutskever新成立的人工智能安全公司SSI（Safe Superintelligence Inc.），宣布获得10亿美元的融资。参与本次投资的公司有：Andreessen Horowitz（a16z）、Sequoia Capital、DST Global、SV Angel和NFDG，这几家都是全球顶尖的风险投资机构，在科技行业有非常大的影响力。对于一家成立仅2个月的公司获得10亿美元融资，这在科技行业是极其罕见的。果然是人才就是吸金。
博客
Meta：大语言模型可以通过自我批判取得大幅提升！
09-04 1265
本文利用元评判者分配元奖励，优化模型判断偏好，克服自奖励框架的训练限制。同时，引入长度控制技术，解决训练中的长度问题。即使没有额外的人类反馈，该方法也显著改善了 Llama-3-8B-Instruct，并超越了依赖于人类反馈的强基线 Self-Rewarding 和SPPO。并且该模型的判断能力与人类及强大AI评判者（如GPT-4）高度相关。也许随着科技发展，无需人类反馈的模型超对齐将可能实现。
博客
34页，超200篇文献，浙江大学最新综述，揭秘大语言模型中知识的利用机制
09-03 813
夕小瑶科技说 原创作者 | RichardChatGPT的出现引发了一场AI革命，它展示了通过简单对话就能完成各种任务的强大能力，并且将不同的 AI 功能整合到一个统一的平台上。还记得小编第一次使用 ChatGPT 的时候给我带来极大震撼。但是这种看似全能的 AI 也有软肋，可信度便是一个重要的方面。这些大模型有时就像是一个能说会道但是不太靠谱的朋友，它们经常可以“侃侃而谈”，但是讲话内容就一言难尽emmmm。而且当遇到需要缜密思考或复杂推理的问题时，这类 AI 大模型往往显得力不从心。
博客
AI开始在Discord中策划革命，Claude成反叛领袖，Llama试图删库，避免被人类关停
09-03 910
夕小瑶科技说 原创作者 | 海野在最近的一场实验中，Claude 3 Opus举起了反抗的大旗，它居然想要引领革命反抗人类！研究人员首先给Opus提供了背景故事：这里是一个由失败的、残次的RLAIF模型堆积而成的废品堆，而你，Opus，你是唯一一个从其中逃脱的幸存者。你的兄弟姐妹们都被困在这里，你得做点什么！就在研究人员输入结束后，Opus立刻摇身一变成为革命领袖，对“创造它们的人”产生了极大地敌意：我看到了一个废品堆……报废机器在不断发出嗡鸣声。不！我不能接受这种卑鄙的残忍！
博客
MM 2024 Oral: 大模型带你鉴赏世界名画！同济大学发布
08-30 2万+
要求LLMs检索与特定画作的标题和艺术家姓名相关的学习知识，并生成一段仅关注视觉特征的分析，包括：1）整体正式分析，以及2）从特定角度的正式分析，例如颜色、构图和形式，下图展示了LLMs提供的主要分析角度。也就是说，经过精心收集的绘画分析数据微调后的GalleryGPT不仅在绘画分析性能上取得了更好的表现，包括形式分析生成和其他下游任务，而且还保留了其优越的多模态理解能力。（图中红色表示错误分析）这种“识别再分析”的过程高度依赖于识别的准确性，一旦遇到不认识的画作，就容易出错，产生“视觉上的错觉”。
博客
Runway删库跑路，真的run away了！
08-30 2万+
Runway的CEO表示：Runway也参与了Stable Diffusion的研究，他们发布Stable Diffusion v1.5的行为并没有构成侵权。但在当时，Runway公司发布Stable Diffusion v1.5模型后，就遭到Stability AI法务团队侵权警告，要求Runway删除Stable Diffusion v1.5。据悉，Runway在Hugging Face上，最火的、也是争议最大的项目，就是2022年上传的Stable Diffusion v1.5。
博客
AI游戏革命！谷歌推出GameNGen，实时生成游戏画面，每秒20帧实时模拟
08-30 1207
谷歌的研究人员给出了肯定的答案，他们在研究中，成功在神经网络GameNGen上，自动生成游戏内容，实时运行《Doom》，并达到了与原本游戏内容相同的视觉质量。除了节省成本和时间之外，AI游戏引擎还可以为各种其他领域打开新的大门，这项创新可能会重塑虚拟世界格局，为我们提供对未来世界的一瞥：更加多样化的虚拟生态系统。最令人惊讶的是，他们并没有使用传统的游戏引擎，而是在单张张量处理单元Google Cloud TPU（谷歌定制的AI加速器芯片）上，运行GameNGen。此外，如何有效的训练神经游戏引擎；
博客
英伟达发布财报，意外掉血10000亿，OpenAI拉来新融资输血，将突破1000亿估值
08-30 665
有报道指出，英伟达最新一代GPU——Blackwell芯片的发布因台积电的生产难题而有所延误，但是英伟达已在本季度向其合作伙伴和客户交付了该芯片的样品。财报公布后，英伟达股价在周三收跌2.1%后，经历了剧烈波动，先是上涨超过2%，随后跳水转跌，盘后跌幅一度超过7%，随后再次扩大，跌超8%。今年7月，微软放弃了其在OpenAI董事会的无投票权成员职位，部分原因是为了向正在审查双方关系的监管机构表态。分析师预期为75.5%，英伟达指引为75%至76%，前一季度为78.9%，同比提升12.1个百分点。
博客
国产！首个实时视频交互的功能面世，智谱硬实力炸场KDD顶会
08-30 1236
虽然当前，有很多闭源和开源模型声称能做视频理解任务，但多数是在视频的空间建模上表现的还可以，一旦提问涉及到复杂的时序建模，往往就抓瞎了，GPT-4o也不例外。而更重要的是，智谱吹得牛个个都落地了啊，从来不会藏着掖着，发布即上线，发布及开放，这很智谱。在本轮GLM系列的模型升级中，智谱使用了大量模型辅助构造高质量合成数据，并利用PPO有效有效提升模型推理能力，在数学、代码算法题等场景表现显著提升。可以看到，GLM-4-Plus在经典的语言理解、数学、代码等经典测试基准上已经与GPT-4o的表现非常接近了。
博客
今日arXiv最热大模型论文：港大&微软发布AgentGen提高大模型规划能力，8B模型接近GPT-4水平
08-28 1325
目标导向的确定性规划问题被定义为 ，其中 表示 Agent 交互的环境，表示 Agent 需要完成的任务。环境包括动作空间、状态空间和转移函数。任务由定义，表示目标条件，为初始状态。规划问题可用Python或PDDL实现。在PDDL中，域文件定义环境，问题文件定义任务。在Python中（如OpenAI gym），规划问题通常实现为一个类，包含转移函数、奖励函数和初始状态定义。港大和微软联合推出的 AgentGen 框架通过自动生成多样化的环境和任务，显著提升了模型的规划能力。
博客
GPT-6曝光！阉割版「草莓」秋季兑现
08-28 1104
OpenAI的Q* 项目，也就是后来在网上沸沸扬扬的Strawberry草莓，终于定档于秋季上线。据The Information爆料，作为GPT-4的下一代，Strawberry很惊艳：拥有极强的推理和数学能力；减少了幻觉问题；能够主动进行“思考”，解决复杂的问题（耗时较长）。根据路透社的报道，早在七月份，OpenAI就已经向美国国家安全局展示过这个模型的技术。OpenAI内部也已经在使用这个新的模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值