文/IT创事记 祁萌
“亲,欢迎再次光临小店哦!”当屏幕上闪现出这行熟悉的文字,意味着你辛劳的网淘工作终于告一段落,该洗洗睡了。
“店家也很辛苦……”你想起自己各种刁钻的提问、无厘头的质疑,以及“丧心病狂”的砍价,良心隐隐作痛。
不过很快,你就不会痛了。因为你知道,被你折磨的对象可能是一个机器人。
没错,当我们愉快地网购时,科学家们正在人工智能这条路上越走越远。未来的机器客服不会是你今天看到的那种呆萌态,而是“多模态”。
田奇教授是华为诺亚方舟实验室计算视觉首席科学家、IEEE Fellow(国际电气与电子工程师协会院士)。他最新的关于多模态学习的工作成果,是在ACM多媒体会议2019上获得了一个最佳论文提名。
IEEE院士身份与论文提名都是全球科学家“含金量”极高的荣誉。
这篇论文涉及的场景是如服装、手机、手表等电子商务场景下的多模态人机对话系统。所谓多模态,可以简单理解为多种交流模态的融合,例如在和网店客服交流中输入一段文字,再发送一张图片来描述需求,就用到了两种交流模态。
当你开启汉语八级模式,说“我不是这个意思,我的意思是你稍微意思意思就可以”这句话时,机器客服真的会明白,你并不是对那双手套的颜色有什么意见,而只是穷而已。
它会通过多模态信息、上下文,以及用户数据(例如性别等)来建立多模态查询、搜索数据库并返回结果。
“从实验结果上看,我们提出的多模态对话系统——魔术模型——在图像选择和文本生成上都取得了很好的结果。”田奇教授在3月28日华为开发者大会2020(Cloud)上对开发者们说。
目前在华为云,这样的开发者在全球有160万。2019年,华为在发布沃土计划2.0时说,要在5年内让这个数字达到500万。
田奇教授在会议中介绍他关于数据生成的研究方向,就是希望让全球的AI开发者能和他,以及今天160万、或未来的500万开发者们一起工作。
他在演讲当天主持发布了华为的计算视觉研究计划(以下简称视觉计划),并邀请全球AI专家参与研究。
他表示,基于华为昇腾AI处理器的Atlas人工智能计算平台将为该计划提供算力支撑,研究成果将在华为全场景AI计算框架MindSpore实现并开源给业界,让全球AI开发者可以以此为基础持续创新。
“我们认为,多模态学习将会是未来机器视觉的主流模式。”田奇说。
没错,聪明的客服只是“魔术模型”的一次有益尝试。目前在中国市场,多模态学习的主要热门应用领域有智能驾驶和智能多媒体。
例如在自动驾驶中,会涉及图像雷达、激光雷达和GPS等多种模态的信号,由于这些多模态信号天然的互补性,它们在性能上表现出了比单一模态信号更优的鲁棒性。
多模态学习只是田奇教授研究领域的鳞爪。今天,计算机视觉面临有三大挑战——如何从数据中挖掘有效信息,怎样设计高效的视觉识别模型,以及如何表达并存储知识等。
围绕这些挑战,华为的计算视觉基础研究也覆盖了数据、模型和知识三大领域。
在如何从海量数据中挖掘有效信息——即“数据”这一课题下,田奇教授关注有两个典型的应用场景,包括如何利用生成数据训练模型,以及如何对齐不同模态的数据。
在计算机视觉研究领域,数据本身的采集和标注是非常昂贵的。即便一个单视觉任务,它的数据标注量就可能达到成百上千万。无论业界还是华为,数据成本都是痛点。这也是田奇教授认为,数据生成是解决标注瓶颈的关键技术方向的原因。
华为目前在数据生成技术上的关注领域大致分为三个部分,一是自动数据扩增,二是利用生成式对抗网络(GAN, Generative Adversarial Networks)模拟更多数据,三是利用计算机图形学技术生成虚拟数据等。这些技术研究主要应用在今天火热的智慧城市和智能驾驶领域。
之前提到的那位客服和它背后的“多模态学习”,就是数据生成技术上最新的一项研究工作。
田奇教授还和开发者分享了华为目前在“模型和知识”这两大方向上的热点话题。例如怎样设计高效的视觉识别模型,如何设计神经网络模型,如何加速神经网络计算等话题。更详细的内容阐述,感兴趣的程序员们可以去官网上回看。
田奇教授表示:“华为在计算视觉领域围绕数据、知识和模型三大方向,大力投入基础研究,过去两年已在AI顶会CVPR、ICCV、NeurIPS、ICLR等发表80余篇论文,并取得多项业界领先的成果,这些研究成果已通过学术论文和算法代码开源等形式公开给业界,我们欢迎全球AI开发者基于华为已有的研究成果,进一步开展AI的研究、开发和部署。”
他今天发布的华为视觉计划围绕三大方向,共有六大子计划,详细内容如下,开发者们可以去华为的官网了解详情:
数据冰山计划:以极少量标注数据撬动海量无标注数据,支撑小样本场景下模型训练;
数据魔方计划:利用多种模态相互辅助、增强模型在实际场景的学习能力;
模型摸高计划:构建云侧大模型,刷新各类视觉任务性能上限;
模型瘦身计划:打造端侧高效的计算模型,助力各种芯片完成复杂推理;
万物预视计划:设计视觉预训练任务,打造视觉通用模型;
虚实合一计划:在虚拟与现实的结合中,将计算视觉引向真正的人工智能。
【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·视频】专栏。如果你有相应的内容希望分享,记得在公众号留言告诉我们。