《数学之美》第2章自然语言处理从规则到统计

1 机器智能

    自然语言处理60多年的发展过程,基本上可以分为两个阶段。早期的20多年,从20世纪50年代到70年代,是科学家走弯路的阶段。局限:用电脑模拟人脑。直到20世纪70年代,找到了基于数学模型和统计的方法。

    基于文法分析器是处理不了复杂的语句的。首先,要想通过文法规则覆盖哪怕20%的真实语句,文法规则的数量也至少是几万条。其次,即使能够写出涵盖所有自然语言现象的语法规则集合,也很难用计算机来解析。

2 从规则到统计

    语义的处理遇到了更大的麻烦。自然语言中词的多义性很难用规则来描述,而是依赖上下文,甚至是世界知识。

    转变:弗里德里克.贾里克尼和他领导的IBM华生实验室

    自然语言规则和统计之争持续了15年,原因:首先,一种新的研究方法的成熟需要很多年。其次,用基于统计的方法代替传统的方法,需要等原有一批语言学家退休。

阅读更多

没有更多推荐了,返回首页