提到dependency parser,我们就会想到自然语言处理,而句法分析是自然语言处理领域的一个关键问题,dependency parser作为句法分析中的一个文法体系,近年来,成为研究热点,并且逐渐广泛应用于其他自然语言处理任务中。飞马网于3月21日晚,邀请到上海交大计算机科学与信息硕士,先后在UBS和蚂蚁金服工作过的胡翔老师,在直播中为我们分享关于dependency parser的研究进展以及它的一些主流方法等相关内容。
以下是本次分享内容:
一.自然语言理解的主要解决问题
我们首先要了解一下自然语言理解领域想要解决的几个问题。自然语言处理的领域非常广,信息检索、智能问答、情感分析、自动翻译等等,都可以说是这个领域非常难且有待解决的问题,今天我们主要讨论的是语义表达及知识表达。
我们先从一个简单的例子着手,来了解一下语义表达。下面这张图片的两句话,放到现在的语义自动匹配模型里,几乎相同,但为什么到人类理解这里,这两句话就是完全不同的意思呢?
从语义角度来说,一句话的含义是有层次和主要元素的,主要元素用学术性的话语说就是语义框架,也就是我们所说的“主谓宾”。虽然不是所有的句子都会有主谓宾覆盖,但我们这里,先拿一个主谓宾的句子举个例子。
主谓宾的句式可以理解为,这个句子里面有三个不同类型的槽,每个槽只能填一个字或词。一旦我们把两句话结构化之后,它们的区别就十分明显了。
所以问题就来了,有没有一种结构化的表达方式,可以有效地解决语义表达这个问题?我们细想一下,这个问题其实有几大难点。首先,如果说存在这样一种结构,那么这个结构一定要具有普适性,其次,更难的问题是,如何让计算机实现把一个序列化的句子转化成这种结构。
二.自然语言理解的几种主流理论
接下来的部分,我们就来谈谈目前解决这两个问题的方法以及思考。自然语言理解主要有以下三种主流理论。
1.Phrase structure(句