】数学之美系列十五】 繁与简 自然语言处理的几位精英

转载 2007年10月05日 04:17:00
2006年8月23日 下午 11:22:00
发表者:吴军,Google 研究员

我在数学之美系列中一直强调的一个好方法就是简单。但是,事实上,自然语言处理中也有一些特例,比如有些学者将一个问题研究到极致,执著追求完善甚至可以 说完美的程度。他们的工作对同行有很大的参考价值,因此我们在科研中很需要这样的学者。在自然语言处理方面新一代的顶级人物麦克尔 · 柯林斯  (Michael Collins) 就是这样的人。


柯林斯:追求完美

柯林斯从师于自然语言处理大师马库斯 (Mitch Marcus)(我们以后还会多次提到马库斯),从宾夕法利亚大学获得博士学位,现任麻省理工学院  (MIT) 副教授(别看他是副教授,他的水平在当今自然语言处理领域是数一数二的),在作博士期间,柯林斯写了一个后来以他名字命名的自然语言文法分析 器 (sentence parser),可以将书面语的每一句话准确地进行文法分析。文法分析是很多自然语言应用的基础。虽然柯林斯的师兄布莱尔  (Eric Brill) 和 Ratnaparkhi 以及师弟 Eisnar 都完成了相当不错的语言文法分析器,但是柯林斯却将它做到了极致,使它 在相当长一段时间内成为世界上最好的文法分析器。柯林斯成功的关键在于将文法分析的每一个细节都研究得很仔细。柯林斯用的数学模型也很漂亮,整个工作可以 用完美来形容。我曾因为研究的需要,找柯林斯要过他文法分析器的源程序,他很爽快地给了我。我试图将他的程序修改一下来满足我特定应用的要求,但后来发 现,他的程序细节太多以至于很难进一步优化。柯林斯的博士论文堪称是自然语言处理领域的范文。它像一本优秀的小说,把所有事情的来龙去脉介绍的清清楚楚, 对于任何有一点计算机和自然语言处理知识的人,都可以轻而易举地读懂他复杂的方法。

柯林斯毕业后,在 AT&T 实验室度过了三年快乐的时光。在那里柯林斯完成了许多世界一流的研究工作诸如隐含马尔科夫模型的区别性训练方法,卷 积核在自然语言处理中的应用等等。三年后,AT&T 停止了自然语言处理方面的研究,柯林斯幸运地在 MIT 找到了教职。在 MIT 的短短几 年间,柯林斯多次在国际会议上获得最佳论文奖。相比其他同行,这种成就是独一无二的。柯林斯的特点就是把事情做到极致。如果说有人喜欢“繁琐哲学”,柯林 斯就是一个。


布莱尔:简单才美

在研究方法上,站在柯林斯对立面的典型是他的师兄艾里克 · 布莱尔 (Eric Brill) 和雅让斯基,后者我们已经介绍过了,这里就不再重复。与 柯林斯从工业界到学术界相反,布莱尔职业路径是从学术界走到工业界。与柯里斯的研究方法相反,布莱尔总是试图寻找简单得不能再简单的方法。布莱尔的成名作 是基于变换规则的机器学习方法 (transformation rule based machine learning)。这个方法名称虽然很复杂, 其实非常简单。我们以拼音转换字为例来说明它:

第一步,我们把每个拼音对应的汉字中最常见的找出来作为第一遍变换的结果,当然结果有不少错误。比如,“常识”可能被转换成“长识”;

第二步,可以说是“去伪存真”,我们用计算机根据上下文,列举所有的同音字替换的规则,比如,如果 chang 被标识成“长”,但是后面的汉字是“识”,则将“长”改成“常”;

第三步,应该就是“去粗取精”,将所有的规则用到事先标识好的语料中,挑出有用的,删掉无用的。然后重复二三步,直到找不到有用的为止。

布莱尔就靠这么简单的方法,在很多自然语言研究领域,得到了几乎最好的结果。由于他的方法再简单不过了,许许多多的人都跟着学。布莱尔可以算是我在美国的 第一个业师,我们俩就用这么简单的方法作词性标注 (part of speech tagging),也就是把句子中的词标成名词动词,很多年内无人能 超越。(最后超越我们的是后来加入 Google 的一名荷兰工程师,用的是同样的方法,但是做得细致很多)布莱尔离开学术界后去了微软研究院。在那里的 第一年,他一人一年完成的工作比组里其他所有人许多年做的工作的总和还多。后来,布莱尔又加入了一个新的组,依然是高产科学家。据说,他的工作真正被微软 重视要感谢 Google,因为有了 Google,微软才对他从人力物力上给于了巨大的支持,使得布莱尔成为微软搜索研究的领军人物之一。在研究方面, 布莱尔有时不一定能马上找到应该怎么做,但是能马上否定掉一种不可能的方案。这和他追求简单的研究方法有关,他能在短时间内大致摸清每种方法的好坏。

由于布莱尔总是找简单有效的方法,而又从不隐瞒自己的方法,所以他总是很容易被包括作者我自己在内的很多人赶上和超过。好在布莱尔很喜欢别人追赶他,因 为,当人们在一个研究方向超过他时,他已经调转船头驶向它方了。一次,艾里克对我说,有一件事我永远追不上他,那就是他比我先有了第二个孩子 :)

在接下来了系列里,我们还会介绍一个繁与简结合的例子。


http://googlechinablog.com/2006/08/blog-post_115634657041368311.html  

我爱自然语言处理网文章汇总

斯坦福大学深度学习与自然语言处理第三讲:高级的词向量表示 斯坦福大学深度学习与自然语言处理第二讲:词向量 斯坦福大学深度学习与自然语言处理第一讲:引言 用MeCab打造一套实用的中文分词系统(三...
  • wowdd1
  • wowdd1
  • 2015年07月27日 22:22
  • 2352

数学之美 第2章 自然语言处理-从规则到统计

数学之美 第2章  自然语言处理-从规则到统计 首先我们抛出2个问题: 1. 计算机是否能处理自然语言 2. 如果能,那么它处理自然语言的方法是否和人类一样 -...
  • lch614730
  • lch614730
  • 2014年03月18日 16:45
  • 1202

JAVA自然语言处理NLP工具包

1. Java自然语言处理 LingPipe LingPipe 是一个自然语言处理的Java开源工具包。LingPipe目前已有很丰富的功能,包括主题分类(Top Classification)...
  • chivalrousli
  • chivalrousli
  • 2015年11月27日 16:09
  • 4217

数学之美 系列十五 繁与简 自然语言处理的几位精英

2006年8月23日 下午 11:22:00 发表者:吴军,Google 研究员  我在数学之美系列中一直强调的一个好方法就是简单。但是,事实上,自然语言处理中也有一些特例,比如有些学者将...
  • cai0538
  • cai0538
  • 2012年04月07日 17:31
  • 463

数学之美系列二十:自然语言处理的教父 马库斯

我们在前面的系列中介绍和提到了一些年轻有为的科学家,迈克尔·柯林斯,艾里克·布莱尔,大卫·雅让斯基,拉纳帕提等等,他们都出自宾夕法尼亚计算机系米奇·马库斯(Mitch Marcus)名下。就像许多武侠...
  • RFC2008
  • RFC2008
  • 2012年05月01日 16:37
  • 1610

数学之美系列二十:自然语言处理的教父 马库斯

马库斯利用自己的影响力让美国自然科学基金会和 DARPA 出钱立项,建立的数百个标准的语料库。其中最著名的是 PennTree Bank 的语料库。PennTree Bank 覆盖多种语言。每一种语言...
  • u010555682
  • u010555682
  • 2014年07月14日 17:52
  • 332

基于自然语言处理的数学基础

  • 2015年12月26日 14:22
  • 662KB
  • 下载

统计自然语言处理的数学基础

  • 2013年09月26日 10:42
  • 1.09MB
  • 下载

GATE中文自然语言处理系列之三

  • 2015年01月05日 22:21
  • 163KB
  • 下载

自然语言处理的数学原理(一)

一个基本的搜索引擎的工作,基本上可以分成以下三个部分: 利用网络爬虫下载网页,分析网页关键词,制成索引备用; 理解用户输入,确定检索关键词; 根据关键词和网页索引,按照相关性排序列出搜索结果。 第一个...
  • ZLJ925
  • ZLJ925
  • 2018年01月10日 09:07
  • 29
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:】数学之美系列十五】 繁与简 自然语言处理的几位精英
举报原因:
原因补充:

(最多只允许输入30个字)