《自然语言处理——冯志伟》学习记录(一)

A. M.  Turning算法计算模型的研究

N. Chomsky形式语言理论的研究

C. E. Shannon概率和信息论模型的研究

结构化数据、非结构化数据

正则表达式

有限自动机：一般我们会用状态图来描述一个有限自动机。它有且只有一个起始状态，有一些接收状态。有限自动机的输出是接收或者拒绝。有限自动机的形式定义。有限自动机是一个五元组。

Markov链:

随机过程有两层含义：

1.它是一个时间上的函数，随着时间的改变而改变。

2.每个时刻的函数值是不同的，是随机的，也就是说，每一时刻上的函数值按照一定的概率分布。

语言的使用被当作一个随机过程，在这个随机过程中，所出现的语言符号是随机试验的结局，语言就是一系列具有不同随机试验结局的链

原始的Markov过程：在已知的当前状态的情况下，过程的未来状态与它过去的状态无关

Markov链：每个语言符号的出现概率不相互独立，每一个随机试验的个别结局依赖于它前面的随机试验的结局。**Markov**链的重数不是无穷增加的，它的极限是语法上和语义上成立的自然语言句子的集合。

单参数频率分布规律

双参数频率分布规律