编辑:贾伟 梦佳
继GPT-3的颠覆之后,即将出道的 GPT-4 会走向何方?这一问题牵动着很多人的心。
在不久前,OpenAI的联合创始人、首席科学家IIya Sutskever 曾在吴恩达编辑的 《The Batch周刊 - 2020年终特刊》上撰文称“2021年,语言模型将开始了解视觉世界”。
元旦之后,OpenAI 立马为这个说法提供了佐证。1月5日,刚刚开工的OpenAI同时发布了两个与 GPT 有关的文本-图像工作:
DALL·E:一个利用文本-图像数据集,有着120亿参数的“GPT-3”,可以根据文本生成各种各样的图像;
CLIP:可以通过自然语言的监督来有效学习视觉概念,只需要提供要识别的视觉类别名称,利用CLIP便能够做任意的视觉分类,类似于GPT-2和GPT-3的 “Zero-shot”功能。
这两项工作的突破性是无疑的,但同时作为前奏,也让人更加期待 OpenAI 接下来的 GPT-4了。
01
DALL·E:强大的文本-图像生成能力
DALL·E 的名字来源于艺术家萨尔瓦多 · 达利(Salvador dalí)和皮克斯动画工作室(Pixar)的《机器人总动员》(WALL-E)的合成词,名字本身充满机器对艺术的想象和探索。
简单来说,DALL·E 是一个有120亿参数版本的GPT-3,利用文本-图像对数据集进行训练,输入文本,生成相应图像。
例如:
输入:一个穿着芭蕾舞裙遛狗的萝卜宝宝
输出:
输入:鳄梨形状的扶手椅
输出:
输入:写着“ OpenAI”的店面
输出:
GPT-3 给人们带来的深刻印象是,大模型可以执行各种文本生成任务。在ICML 2020 上的一篇论文“Image GPT”中,作者表明相同类型的神经网络也可以用于生成高保真度的图像。作为对比,DALL·E 的研究说明了,通过自然语言便可以直接做各种图像生成任务。
与 GPT-3一样,DALL·E 是一个transformer 语言模型,它同时接收文本和图像作为一个单一数据流,其中包含1280个tokens(256个文本,1024个图像),并利用最大似然训练并生成所有的 tokens。模型中的 64 个 self-attention层,每一个都有attention mask,这能够使每个image token都可以参与到 text token。DALL·E 对 text tokens 使用标准的因果掩码,对行、列或卷积注意力模式的image token使用稀疏注意力,具体这取决于每一层的情况。
与利用 GAN来做文本到图像的生成不同,DALL·E能够为大量五花八门的句子创造出似是而非的意象,这些句子很多时候本身就是对语言结构的探索。在生成之后,DALL·E采用 CLIP进行排序,从中选取最优结果,整个过程不需要进行任何筛选。
OpenAI的研究人员对DALL·E的结果进行了探索,包括:
1、控制同一个对象的不同属性
输入:一个五角形的绿色钟
输出:
2、同时控制多个对象以及它们的属性和空间关系
输入:一个小企鹅的表情,身着蓝帽子,红手套,绿衬衫,黄裤子
输出:
从上面生成的例子看,虽然大多数情况生成的图片是符合要求的,但也有少量错误的案例。
虽然 DALL·E可以提供对少量对象属性和位置的某种程度的可控性,但成功率似乎取决于文本的措辞。从上面几个例子来看,随着引入对象的增多,DALL·E 越来越容易混淆对象和颜色之间的关联,成功率也急剧下降。
作者提到,DALL·E对文本的措辞非常脆弱,有时候用语义上等价的标题替代,会产生非常错误的结果。
3、视觉透视与立体:控制场景的视点,并渲染场景的 3D风格
输入:一只用体素做成的水豚坐在田野里
输出:
4、内部/外部结构可视化
输入:核桃的横截面图
输出:
5、推断背景细节
将文本翻译成图像的任务具有不唯一性:给出一个文本,通常会有“无限多”中可能的图像。例如,“日出时分,一只水豚坐在田野上”,根据水豚的方向,可能需要画一个阴影,尽管这个细节在文本中并没有被明确地提及。
输入:日出时分,一只水豚坐在田野上
输出:
6、时装设计、室内设计
输入:一个穿着黑色皮夹克和金色百褶裙的女性模特
输出:
输入:起居室里有两把白色扶手椅和一幅斗兽场的油画,油画被安装在一个现代壁炉上方
输出:
7、将不相关的概念进行结合
语言的组合特性使我们能够把完全不相关的概念放在一起,从而来描述真实的或想象的事物。利用DALL·E,可以将语言的这种特性快速地转移到图像上。
输入:一只竖琴做的蜗牛
输出:
8、动物插图
除了真实世界中不相关概念之间结合外,在艺术创作里面,有大量的可探索空间:
输入:一只长颈鹿和乌龟嵌合体
输出:
9、零样本视觉推理
GPT-3可以执行多种任务,根据描述和提示来生成答案,而不需要任何额外的培训。例如,当提示语“ here is the sentence‘ a person walking his dog in the park’ translated into French: ”时,GPT-3回答“ un homme qui promène son chien dans le parc. ”这种能力称为零样本推理。
DALL·E 可以将这种能力扩展到视觉领域,并且能够以正确的方式提示执行图像到图像的转换任务。
输入:和上面的真猫一模一样的猫的草图
输出:
输入:和上面第一列完全相同的茶壶,上面写着“ gpt”
输出:
输入:一系列的几何图形列表
输出:
10、地理概念
作者发现 DALL·E 已经习得了地理知识、地标和社区等概念。它对这些概念的了解在某些方面呈现出惊人的精确,而在其他方面又有一定缺陷。
输入:一张中国菜的照片
输出:(有些食物看起来怪怪的)
输入:旧金山金门大桥的照片
11、时间概念
除了探索 DALL·E 对于不同空间的认知,作者也探索了其对时间变化的认知。
输入:20年代电话的照片
02
CLIP:零样本学习神器
与DALL·E 一同发布的还有神经网络CLIP(对比式语言-图像预训练,Contrastive Language–Image Pre-training)。
简单来说,它可以从自然语言监督中有效地学习视觉概念。CLIP 可适用于任何视觉分类基准,只需提供要识别的视觉类别的名称,类似于 GPT-2和 GPT-3 的“零样本学习”(zero-shot)能力。
1、方法
如下图所示,是CLIP的结构图:
标准的图像模型,联合训练图像特征提取器和线性分类器,预测一些标签。CLIP再联合训练图像编码器和文本编码器,从而预测一批(图像,文本)对。在测试时,学习的文本编码器通过嵌入目标数据集类别的名称或描述,来合成zero-shot线性分类器。
具体来说,作者使用了大量可用的监管资源,包括文本和在网上能够找到的图像配对。利用这些数据,CLIP可以训练出一个proxy,当给定一张图片时,便能预测在32768个随机采样的文本片段集中哪个片段更匹配。这里的方案是,CLIP模型将学习识别图像中的多种视觉概念,然后将它们与图像名字进行关联。
这种方式的结果是,CLIP模型在随后可以应用到几乎任意的视觉分类任务当中。
例如,如果数据集的任务是对“狗”和“猫”的图像进行分类,那么便可以针对每个图像进行检查,确认CLIP模型是否会预测响应的文本“狗的照片”、“猫的照片”来与之配对。
2、优缺点
CLIP的方法可以解决基于标准深度学习做计算机视觉所遇到的许多问题,例如:
数据集昂贵:深度学习需要大量人工标注的数据,这些数据集构建的成本很高。ImageNet 需要超过25000名工作人员为22000个对象标注1400万张图像;相比之下,CLIP 可以从互联网上已经公开可用的文本图像中学习。
应用范围狭窄:在ImageNet 上训练的模型,即使可以预测1000个 ImageNet 类别,但也仅限于此,如果想要执行其他新数据集上的任务,就还需要进行调整。相比之下,CLIP 可以适用于执行各种各样的视觉分类任务,而不需要额外的训练示例。
现实场景中表现不佳:现有模型多能够在实验室环境中超过人类,但一旦部署到现实场景,性能便会大幅下降,原因在于模型仅通过优化基准性能来“欺骗”,就像一个通过仅研究过去几年考试中的问题而通过考试的学生一样。相反,CLIP模型可以根据基准进行评估,而无需训练其数据,于是这种“欺骗”方式便不再存在。
当然 CLIP 的局限性也很明显,
它在较为抽象或者系统性的任务(例如计算图像中的对象数量)和更为复杂的任务(例如预测图像中最近的汽车有多远)上,表现并不是很好,仅比随机猜测好一点点。
对于训练集未覆盖的图像的概括性较差,例如尽管CLIP学习了更为复杂的OCR系统的数据,但在对MNIST数据集进行评估时,准确率仅为88%(人类为99.95%)
CLIP的zero-shot分类器对文本的措辞表现敏感。
代码地址:https://github.com/openai/CLIP
论文地址:https://cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language.pdf
参考链接:
https://openai.com/blog/dall-e/
https://techcrunch.com/2021/01/05/openais-dall-e-creates-plausible-images-of-literally-anything-you-ask-it-to/
推荐阅读:
点击左下角“阅读原文”,了解更多!