DALL·E 3关键技术公开！19页论文揭秘如何对提示词“唯命是从”

于 2023-10-20 12:15:17 发布
阅读量204 收藏
点赞数
文章标签： 人工智能 计算机视觉
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247700189&idx=2&sn=9e8ad7862cf2460fed728fec59140eaf&chksm=e8df79afdfa8f0b984bc6465ed53aeffbf3e82e857c3432894dbedcebe6abde5114ca5fb4ab4&scene=126&sessionid=0
版权
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

出场即炸场的DALL·E 3，又有新动向了！

这次直接宣布对ChatGPT Plus和企业版用户开放，还连带公开了更多“官方推荐案例”。

324c3796613256cab2963628ee89e3f8.gif

不仅如此，OpenAI还一纸论文透露了DALL·E 3的关键技术细节。

相比其他AI，DALL·E 3表现最优秀的地方，应该就要属对提示词的完美遵循了。

无论是整体的环境描写，还是精确到物体数量、着装、颜色这种细节叙述，DALL·E 3都能很好地理解，并生成对应的画作，丝毫不漏重点。

89f58befa32e3bcc589c7470998b3aa6.png

论文一公开，可以说是解决了“如何让DALL·E 3遵循指令”这一让诸多人困惑的问题，有网友感叹：

OpenAI终于又Open了？

2dc0824cd0da781d5b2898dd3f58e877.png

一起来看看这篇DALL·E 3论文的关键细节，以及它的更多用例。

用数据集让DALL·E 3“唯命是从”

先来看看DALL·E 3论文最大的亮点：提示词遵循（prompt following）。

此前，不少绘画AI会刻意忽略提示词中的某些关键词、或是混淆提示词的含义（多义词如column，列还是柱子），简单来说就是文本提示词和画面细节没对齐。

OpenAI的研究人员在经过一番分析后认为，这是数据集的锅。

现有的图像文本对数据集，文字对图像的描述可以说是“惜字如金”。

尤其是从互联网上扒下来的数据集，大多数对图像的描述只有一句话，更别提细节了。包括环境、物体在内，容易忽略的文本描述主要有4类：

  • 场景中物体描述，如厨房里的水槽、人行道上的停车标志等；

  • 物体位置和数量描述

  • 物体颜色和大小描述

  • 图像中的文本描述（如呈现在商店招牌上的字母/汉字）

除此之外，还有不少互联网上扒下来图像的文本描述，直接就是错误或不相关的，例如梗图或Alt文本（图像加载失败时网页上呈现的文字描述）。

7f0766e26ef6d9ae322d30d80607c9b5.png

为此，有必要将这些图像对应的文本数据重新整理一遍，更准确地描述图像中的场景和物品进行描述。

光靠人力是不太可能的，毕竟要生成的“废话文学”太多了。

和RLHF一样，OpenAI同样将这个过程“自动化”了一波，让AI来完成这件事。

他们训练了一个“图像字幕器”（image captioner），专门用来给数据集中的图像重新生成文本描述。

这是“图像字幕器”给数据集中的部分图片生成文本描述的效果：

87e99a3a1e5b9b6ac1b6cffdead3fd85.png

这下子描述就详细多了。

那么，用AI来合成文本，实际训练出来的模型是否真能提升生成效果？

研究人员用开源模型（如CLIP）测试了一波，得出的结论是可以。

56ae96dd8fbb5b5fdfd6bb4801e0b60a.png

不过也不能完全使用合成的文本描述，毕竟AI生成的内容可能有些“神秘共性”，直接全盘接受容易导致图像过拟合。

因此，OpenAI还在CLIP上尝试了一波合成文本描述-图像数据集的效果。

他们发现，数据集中混杂95%的合成文本-图像数据时，CLIP的效果是最好的。

7ecb42238e36ff5d2c3be964297c67b7.png

最终，他们决定95%的图像用合成文本描述，剩下的5%图像依旧使用人工描述，用这个比例的文本-图像数据集重新训练了DALL·E 3，取得了不错的效果。

最后，OpenAI也采用人工评估的方法，对DALL·E 3和其他模型进行了测试。

评估方法大致像这样，询问人类哪个图像能更好地遵循提示词、或生成更好看的图像。

5534e1c3f65e0b2a9070c6d400f43028.png
398602a6191c2ac335529402a6c27e47.png

结果显示，DALL·E 3相比Midjourney 5.2、SDXL和DALL·E 2，在提示词遵循、风格匹配等任务测试上均取得了不错的效果。

cedb974e90cae66ea918d650dab6c419.png

已向企业版和Plus用户开放

除了这篇论文以外，OpenAI这次还公布了DALL·E 3的另一动向——向ChatGPT Plus和企业版开放。

在宣布这一消息的同时，OpenAI也给出了企业和机构使用DALL·E 3的建议，例如做科学项目：

33cb65e9d8e51cfa40557f00ddf69f02.png

搞网站设计：

38e95ecabf0221437564f974ef32ab25.png

或是帮企业设计LOGO：

cb44d72be3563b68d2039b34a4891055.png

当然，无论是ChatGPT Plus还是企业版，仍然也属于收费项目。

目前唯一可以免费玩到DALL·E 3的地方，应该还是微软的New Bing。

78d0ea121c00b238e67804b608868ee9.png

对于OpenAI带来的DALL·E 3新消息，不少网友感觉振奋。

有网友表示，DALL·E 3的出现真正给设计圈带来了改变，例如设计饮料包装等：

7725b6bb90a5289469406e1a26b722ca.png

还有网友已经在催API的到来了：

47fb7752073218266b33ad6d270029b2.png

但也有网友对这次更新不甚满意，尤其是对DALL·E 3论文涉及的技术信息表示了嘲讽：

直接用谷歌的T5文本编码器和卷积解码器，这就是公司发展太快的结果吗？

5ccc7f43384b8e0735159cc79a777d3f.png

这里是网友提到的DALL·E 3论文细节：

8b3c3abe068c4b20ca6fd53773cc83d2.png

要是对DALL·E 3的更多技术细节感兴趣，也可以到论文中找找答案~

论文地址：
https://cdn.openai.com/papers/dall-e-3.pdf

参考链接：
[1]https://twitter.com/OpenAI/status/1715050642560151963
[2]https://openai.com/blog/dall-e-3-is-now-available-in-chatgpt-plus-and-enterprise

— 完 —

「量子位2023人工智能年度评选」开始啦！

今年，量子位2023人工智能年度评选从企业、人物、产品/解决方案三大维度设立了5类奖项！欢迎扫码报名 

MEET 2024大会已启动！点此了解详情。

31035cff1c4647e8829720417137f342.png

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
5700问答对全面评估拷问AI空间感！最新空间智能评测基准来了丨浙大&成电&港中文
06-02 10
这一现象打破了我们对“自我视角更易处理”的常识性认知，这与上面任务表现的失衡有直接联系，说明模型在训练过程中可能存在学习了更偏“第三人称”视角的空间分布规律，而缺乏从相机视角进行空间映射的能力。然而在人物视角下，这一趋势却完全反转。在VSI-Bench中，MVSM在需要视角转换能力的物体相对方向任务上取得了0.93%的提升，在路径规划任务上更是实现了9.54%的显著改进。当前的视觉语言大模型在大规模图文数据中学习到的空间信息往往是片段化的，仅限于静态视角的理解，缺乏多维度、多视角的空间推理能力。
博客
让ChatGPT连读“A”，直接崩溃到念广告词，网友：拿付费用户做测试呢？
06-02 315
就像这位网友说的：由于训练过程中用的数据更自由，所以有时候会出现数据反刍现象，总之它不是故意播放广告的，别想太多了。这压根不是技术问题，而是老套路的又一次上演：把最好的留给应有尽有的富人，却给勉强付得起会员费的穷人提供劣质服务。从整体效果来看，豆包会尝试着去读“A”，但不多，读几次之后就会说累、无聊，引导你开启其它的对话内容。我们也尝试了其它带有语音对话功能的国产AI，对于这个要求，基本情况也是跟豆包和元宝的表现一致。在广告之后，ChatGPT又会陷入机械式读“A”的循环当中，有时中间还会出现一些。
博客
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
06-01 9
它关注的是在不同层之间如何融合注意力信息，能减少每一层的冗余计算。尤其在语言建模方面，无论是预训练还是下游评估，Mamba-3B模型都优于同等规模的Transformer模型，并能与两倍于其规模的Transformer模型相媲美。，它通过分组共享KV缓存减少内存占用，在视觉Transformer（ViT）等任务中表现良好，适用于大规模数据处理，目前已应用于Llama 3等开源模型。相比之下，中间传统的多头注意力机制（MHA）每个查询头都有独立的键和值，由于没有共享，导致它需要更多的内存来存储所有的键和值。
博客
挑战强化学习后训练霸权！全新无监督方法仅需1条数据+10步优化
06-01 7
特别是在AMC23基准测试中，经过EM增强的Qwen2.5-Math-7B达到了具有竞争力的70.3分，逼近领先的RL模型这些结果清晰地表明，熵最小化（EM），尽管比典型的强化学习方法更简单、数据效率更高，但在增强基础语言模型在数学推理任务上的性能方面，具有巨大的潜力。One-shot EM的成功，不仅在于其惊人的数据和计算效率，还在于它为LLM后训练提供了一种完全无监督的、可落地的替代方案，它不需要人工标注数据，不需要构建复杂的奖励模型，极大地降低了后训练的门槛和成本。这需要进一步的实验验证。
博客
360开源高质量图文对齐数据集！收纳1200万张图像+1000万组细粒度负样本，让模型告别“图文不符”
05-31 14
FineHARD数据集不仅包含了常规的图像“短文本”描述（平均长度约20个词），同时为了弥补短文本描述细节缺失的问题，FG-CLIP团队基于多模态LMM模型为数据集中的每张图像生成了包含场景背景、对象属性及空间关系等详细信息的“长文本”描述（平均长度 150个词+），显著提升了全局语义密度。为了定量分析FineHARD数据集的特点，我们与一些业界常用的数据集，如Flickr30k，CC3M和COCO在图像，文本描述，目标bounding box和难负样本等四个维度进行了对比，如下图所示。
博客
AI记忆系统首获统一框架！6大操作让大模型拥有人类记忆能力
05-31 13
long-term memory）、长上下文建模（long-context modeling）、参数记忆修改（parametric memory modification）与多源记忆融合（multi-则成为支撑多轮交互与任务延续的关键，涌现出如 WorldMem 与 E-Agent 等具备自维护能力的系统，能够实现多模态记忆的持续压缩、参数记忆不仅是模型知识调控的关键接口，也是未来智能体学习能力延展的基础模块，值得围绕“表达粒度、多轮积累、语义泛化”等方向持续深入探索。
博客
Claude团队打开大模型「脑回路」，开源LLM思维可视化工具来了
05-31 6
将“small”超节点替换为“big”超节点后，导致“说出big”超节点关闭，同时一个新的“Say small”超节点被激活。禁用“得克萨斯州”超节点，并激活“中国”超节点。，存在一个对应“得克萨斯州”的节点，并同时显示从“达拉斯”到“奥斯汀”的直接路径以及经过“得克萨斯州”的间接路径。与之前的干预行为类似：关闭“说出一个首府” 超节点，但没有像之前那样强烈，也部分关闭了“说出奥斯汀”节点。强行关闭“说出一个首府”超节点后，“说出奥斯汀”节点也随之关闭，模型的最高logit变为了得克萨斯州。
博客
斯坦福意外用AI生成超强CUDA内核，性能比人类专家优化得还要好！翻倍碾压原生PyTorch，华人主创
05-31 853
并且斯坦福团队还展示了一组具体的优化轨迹，从中可以看出，并不是每一步优化都一定能让速度更快，但经过多个步骤的组合，内核的速度能够得到大幅提升，并最终超越PyTorch。将强大推理能力与同时探索多个假设结合起来，能带来更好结果。具体来说，他们的方法并非每一步都只优化一个候选方案，而是将每个想法分散开来，使其衍生出多个实现，并使用性能最高的内核作为下一轮的种子。作者回应说，尽管还没有进行更严谨的系统验证，但是手动检查的案例中，生成的CUDA视线与提出的优化建议是大致匹配的。
博客
1/15成本，实现AI水印新SOTA | 南洋理工大学&A*STAR
05-31 10
在局部水印任务中，实验表明，当水印信号分布在图像的不同大小区域时，MaskMark仍能保持近乎100%的提取准确率，显著优于其他全局方法，并超过当前最先进的局部水印模型WAM。在全局水印任务中，即使在高视觉保真度（PSNR > 39.5, SSIM > 0.98）下，MaskMark-D和MaskMark-ED仍能保持近乎100%的比特准确率，尤其在各类值度量和几何失真攻击下表现优异，显著优于现有基线模型。比如，图像局部区域被篡改，就可能导致全局提取失败，也无法定位水印所在具体区域。
博客
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
05-31 40
也就是让模型使用搜索工具，预测文本中被遮蔽的部分，在预训练过程中有效学习通用的任务分解、推理等智能体策略，同时熟练掌握搜索引擎的使用方法，为其后续适配多领域任务奠定基础。，在模型生成的回答长度、token级召回率以及经Qwen72b模型评判的分数上，均优于其它两种奖励方法，有效规避奖励欺骗问题，且RL训练全程表现出卓越的稳定性和高效性。数据集上稳定提升模型召回率；：为了快速扩展数据集并保持高质量，使用已有数据训练后的教师模型，直接生成推理轨迹，并逐步迭代教师模型，从而逐步提升数据质量。
博客
陶哲轩转发！DeepMind开源「AI数学证明标准习题集」
05-31 5
首先，你要在在GitHub上创建问题，清晰描述计划贡献的内容，包括对要添加的数学猜想的概述、相关背景信息以及自己对该猜想的初步理解等，然后将问题分配给自己，以便跟踪和管理贡献进度。然后，按照仓库的目录结构和组织方式，确定猜想应该放置的具体的位置，再将你的形式化猜想添加到适当的文件/目录结构中。并且，由于无证明的数学猜想的形式化过程中可能出现细微错误，猜想库将通过人工审核和AlphaProof。猜想库收录了经典的形式化表述的数学猜想集合，例如，解析数论中的四个朗道问题。
博客
全面评估多模态模型视频OCR能力，Gemini 准确率仅73.7%
05-30 15
既可能出现在画面主体、背景场景，也可能以屏幕注释、水印或弹幕的方式存在。同时需要注意到，更多的视觉输入可能也会导致模型难以关注到目标信息，造成准确率的下滑，这也对模型的信息提取与处理能力提出了更高要求。考虑到短视频、弹幕视频及AIGC视频的逐渐普及，MME-VideoOCR额外引入了这些特殊类型的视频，增加了数据的全面性。MME-VideoOCR的设计核心在于其全面性与深度，旨在评估模型从“看见”到“理解”视频文字信息的全方位能力。等视频的动态因素，都对 MLLM 的视频文字识别构成了显著的障碍。
博客
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
05-30 25
为了全面评估Avengers框架的性能，研究团队选取了覆盖数学推理（如AIME, Math500,LiveMathBench）、代码生成（MBPP, HumanEval）、逻辑推理（如KORBench, BBH,Knights and Knaves）、知识问答（ARC Challenge, MMLUPro,GPQA,FinQA,MedQA）和情感分析（如EmoryNLP, MELD）等五个领域的。这说明Avengers能够有效地利用模型的异质性，实现“1+1>2”的效果，而无需盲目堆砌模型数量。
博客
机器狗能当羽毛球搭子了！仅靠强化学习从0自学，还涌现出类人回位行为 | Science子刊
05-30 11
在实际应用中，另一种大家熟知的球类——乒乓球，在精确性和策略方面的研究都更为广泛，这类情况目前主要的解决办法是使用带有外部视觉系统的固定基座或龙门式操作器。另一方面，羽毛球对感知、移动和操作之间复杂的相互作用提出了极高的要求，需要平衡「快速响应的移动」与「精确的手臂运动」。不过，当狗子站在在发球区边界，或者羽毛球直接落在狗子身后时，机器狗预测羽毛球轨迹并成功拦截就变成了一件很有挑战性的任务。在没有明确的视野范围奖励的情况下，机器狗即可实现更低的感知误差，和更高效的机械功率使用。这对机器狗来说很有难度。
博客
AI生图大洗牌！流匹配架构颠覆传统，一个模型同时接受文本和图像输入
05-30 17
如果风格标签不够精准，那就描述一下关键特征，例如“清晰的笔触、厚重的颜料质感和丰富的色彩深度”。风格迁移任务至少具体到“印象派绘画”或“水彩素描”，带上具体的流派艺术家效果更好，如“文艺复兴”或“20 世纪 60 年代的波普艺术”。如果想要更精准的控制，可以使用更具体的操作，例如“换衣服”或“替换背景”。对于更复杂的更改，例如添加人物或更改背景，需要分几步描述每项修改，只要每次改动不太复杂就可以获得好的效果。在编辑背景和场景的同时保持角色的一致性需要详细描述，以保持人物处于相同的位置、比例或姿势。
博客
让AI学着“看菜下碟”！港中大等新框架让推理长度减少90%，准确率反增17%
05-30 31
另外发现，简单的任务更容易跳过思考（比如CLEVR），但是难的任务反而不容易跳过（比如GeoQA），展现出模型在强化学习的过程中，自适应的针对问题的难易程度，学习何时该思考合适不思考。这种“一刀切”的做法虽然提高了复杂任务的推理能力，但也导致对简单任务的计算浪费——模型无论易题难题都冗长“自言自语”一番。着reward的上升而增加，进而进一步降低了模型输出的平均长度，但是输出的有内容的思考过程的长度仍然维持不变。实验表明，在不牺牲准确率的前提下，该方法显著减少了生成的思考链长度，使模型推理过程更高效。
博客
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
05-30 559
而在RL后训练阶段，于Pangu Ultra MoE昇腾CloudMatrix 384超节点集群的后训练中，采用训练推理混合并行策略（训练：PP16/VPP2/EP32/TP8，推理：PP1/EP64/TP1），并结合异步RL算法与训练框架系统的协同创新，实现了每超节点35K Tokens/s的高吞吐能力。对于同步型Host-Bound问题，不仅有效消除了同步操作引发的Host资源瓶颈，在无法完全规避同步的场景下，还通过优化鲲鹏处理器的算子下发与调度策略，显著降低了同步后的Host-Bound开销。
博客
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
05-30 25
尽管语言模型的灾难性遗忘问题受到了广泛关注，但当前的研究多集中于通过单一训练序列分析遗忘现象，忽略了不同任务组合对模型表现的复杂影响，同时也缺乏对遗忘内部机制的深入理解。但在学习任务1之后，模型可能引入了一个新的函数向量，这个新的向量会对任务0输入的激活过程造成干扰，从而导致遗忘现象的发生。仅通过在模型中插入被遗忘能力的函数向量或移除当前训练任务的函数向量，研究人员就能够显著恢复在被遗忘任务上的能力。是指模型在学习新任务时，之前学到的知识被新任务的学习过程所覆盖或干扰，导致模型在旧任务上的性能大幅下降。
博客
GPT-4o-Image仅完成28.9%任务！上海AI实验室等发布图像编辑新基准，360道人类专家严选难题
05-30 4
排名第二、第三的Gemini-Flash-2.0-Experimental和Gemini-Flash-2.0-Preview，分别仅能完成13.3%和9.4%的任务，与GPT-4o-Image之间存在着明显的代际差距。更令人担忧的是，最强的开源模型BAGEL仅能完成5.8%的任务，这彰显出当前开源模型与闭源模型之间在视觉理解能力上的巨大鸿沟。： BAGEL虽然在指令理解能力上仅次于GPT和Gemini，但在生成图像的视觉合理性上得分较低，这意味着其输出图像往往存在更多的失真或模糊现象，影响了最终得分。
博客
波士顿动力机器人进厂打工现逆天操作！3D感知+实时追踪，人类捣乱完全不带怕的
05-29 46
据介绍，Altas的一系列功能升级源于波士顿动力团队对Altas感知系统进行的全新设计，融合了2D与3D感知技术、物体位姿追踪，以及基于物理特性的精确校准方案。而这背后是一套精心设计的摄像头和运动校准程序，用于补偿机器人机身制造和组装中的不精确性，以及因温度变化或反复物理冲击等外部因素导致的随时间产生的物理变化。所以，当有人移动Atlas身后的固定装置时，机器人会迅速识别预期位置与实际位置的差异，重新定位装置，并相应地重新规划行为。除了检测和识别所有固定装置外，系统还。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值