北邮计算机学院 王小捷,王小捷智能科学与技术中心北京邮电大学.pdf

王小捷智能科学与技术中心北京邮电大学

王小捷

智能科学与技术中

智能科学与技术中心

北京邮电大学

北京邮电大学

背景背景

问题问题

关注点关注点

应用背景网络

网络数据的多模态化产生的跨模

态信息检索需求

◦例如例如：以文检图以文检图

◦需要在语言与图像之间建立关联需要在语言与图像之间建立关联

应用背景机器人

真实情景中的服务机器人需要同时处

理视觉理视觉、听觉听觉、语言语言、行为等信息行为等信息

◦机器人要完要完整理解解 “你好，，我是我是Tom”“把

桌上的红铅笔给我吧”之类的语句需要感知

行为信息的参与行为信息的参与。。

共性科学问题：

◦如何建立基于感知信息的语言意义？

也即也即LangLanguageage GroGroundingnding问题问题

“红铅笔”的释义是该对象各种感知信息

的综合

◦Grounded Language可能为上述问题提供一

种解决途径

人类存在解决这一问题的途径人类存在解决这一问题的途径

◦一些基础的语言意义根植于感知体验

红色红色、铅笔铅笔 ((视觉视觉))

打、跑 (运动)

粗糙粗糙、柔软柔软 ((触觉触觉))

香、臭 (嗅觉)

静静、嘈杂嘈杂 ((听觉听觉))

◦连续感知运动输入模式词(命名)

◦人类的NLP不是NL 自足的 只有具备这

◦人类的NLP不是NL 自足的，只有具备这

些基础才能进行更多的NLP

计算机器能否做到计算机器能否做到？？如何能如何能？？

◦面向整个AI 的大问题

基于Agent 的AI定义

此刻关注点此刻关注点：：

◦该问题的研究能给NLP带来什么？

◦该问题的研究里NLP能做什么？

传统语言意义基于符号进行解释

◦离散符号之间的互释离散符号之间的互释。例如例如：词典释词词典释词

一般NLP也不关注Grounding问题

◦在在NL 中进行中进行NLP

◦这种方式不能满足这种方式不能满足上述应用需求述应用需求

Language Grounding相关研究

ViTraViTra系统系统(Herzog(Herzog))

Language Grounding相关研究

ViTraViTra系统系统(Herzog(Herzog))

Cell (D.Roy 2000 )

Language Grounding相关研究

ViTraViTra系统系统(Herzog(Herzog))

Cell (D.Roy 2000 )

Leonard系统(Siskind 2000 )

更多相关研究更多相关研究：

◦D. Roy,y, E. Reiter. Connectingg Langguagge to

the World. Artificial Intelligence. 167:1–12,

◦RRay MMooney. GGrounddedd LLanguage LLearniing.

AAAI2013 Keynote Speech.

该问题的研究能给NLP带来什么启发？

◦NLP beyond NL

利用其它模态的信息来为利用其它模态的信息来为NLPNLP服务服务

一些研究示例

◦Barnardd2005利用图片进行利用图片进行WSD

◦Chen2010基于情景信息进行多语言学习

基于情景信息进行多语言学习

◦Bruni2012利用图像+文本来构建词意义表示

◦◦…

要用视觉信息需要什么基础要用视觉信息需要什么基础

◦Bruni. Visual Features for Linguists: Basic

image analysis t