自然语言处理与编译原理

前言

人工智能处理问题的方法大致可分成两类：
基于规则，模拟出“智能”行为；
基于数据，让智能算法自己拟合出规则这两种方式。
自然语言也可以从这两个角度处理问题，基于规则和基于数据并不是不相容，二者有各自的适用范畴，并且可以搭配处理自然语言。其中基于规则的 NLP 算法与编译原理有很多技术重叠点和相似性。

编译原理

形式语言

定义
形式语言是用来精确的描述语言（人工和自然语言）及其结构的手段。也成为代数语言学

α，β均为字符串，重写规则α——>β表示字符串α可以被写成β。

1. 文法表示理论
   20 世纪 50 年代中期，著名语言学家 Chomsky 描述了四种文法，在他的体系中，根据产生式的形式，文法被分成四类。
   在乔姆斯基的语法理论中，文法被分为四种类型，分别是3型文法，2型文法，1型文法，0型文法。又分别称为正则文法，上下文无关文法，上下文相关文法，和无约束文法

   正则文法
   文法规则集中只有（非终结符推出非终结符+终结符）或（非终结符推出终结符）这两种形式的文法
   又称为左线性正则文法
   同理可以调整非终结符和终结符位置，得到右线性文法
   可以通过生成额外规则的方法将不满足正则文法定义的文法调整为符合正则文法的文法

   上下文无关文法
   如果文法G的规则集P中所有规则均满足非终结符推出总词表中的字符，则称文法G为上下文文法（CFG）

   上下文有关文法
   规