计算语言学学习总结

内容来自中科院刘群研究员计算语言学PPT的整理笔；一、概述；1.应用；机器翻译（MT）；信息检索（IR）；自动问答（QA）；自动文摘（AU，automaticsummary；信息抽取（IE）；信息过滤（IF）；2.特点；2.1定义：计算语言学是一门以计算为手段对自然语；语言的层次划分：从底层到上层，词法->句法；2.2歧义现象；词法层歧义：i）词性兼类

一、概述

1. 应用

机器翻译（MT）

信息检索（IR）

自动问答（QA）

自动文摘（AU，automatic summary）

信息抽取（IE）

信息过滤（IF）

2. 特点

2.1 定义：计算语言学是一门以计算为手段对自然语言进行研究和处理的科学。 区别：自然语言和形式语言的本质区别在于前者具有歧义性。

语言的层次划分：从底层到上层，词法->句法->语义->语用

2.2 歧义现象

词法层歧义：i）词性兼类歧义。例子：工作-ng、vg，高-adj、ng；ii）词语切分歧义。 例子：乒乓球/拍卖/完/了/、乒乓/球拍/卖/完/了/，南京/市长/江大桥/、南 京市/长江大桥/

句法层歧义：结构歧义。例子：张三/和/李四的朋友/、张三和李四/的/朋友/；

语义层歧义：i）一词多义。例子：“杜鹃”，可以是一种鸟，也可以是一种花；ii）一义多词。例子：“可能、大概、也许”。

语用层歧义：例子：“你很好。”正义，“你很好！”反义。

2.3 未登陆词：现有知识库，比如WordNet、HowNet、FrameNet等，均无法解决未登录词的问题。

2.4 中文特点：中文是以字为基本单位，但中文意义是以词语为基本单位；中文词语未被分割，做中文处理的第一步就是分词；中文无词形变化的特点，词语的词性难以区分；中文是词语序列的意义组合，无固定的结构

2.5 一些语言学特点：Zipf定律：汉字出现的频率与汉字按词频排列的名次大体等于一个定值；常见的汉字定量，大概在四五千个左右；汉字的使用频率符合高斯定律；

二、基础知识

1. 基于规则的基础知识

1.1 词典。词典结构

1.2 形式语言自动机。

a）背景。描述一种语言，通常联想到三种方法。i）穷举。缺点：语言变化的多样性导致不能完全穷举，且穷举时间、空间复杂度大；ii）语法总结。缺点：语法不可能总结所有的语言现象，且语法之间会出现冲突。鉴于以上两者的缺陷，采用iii）形式语言自动机。即给出能识别该语言句子的机械方法。

b）形式语法。四元组G=<初始符，非终结符，终结符，规则>表示。

2. 基于统计的基础知识

2.1 概率论：样本空间、事件随机变量、概率、联合概率、条件概率、贝叶斯分布、概率分 布、协方差、相关系数、参数估计、极大似然比、马尔科夫过程。

2.2 统计学：各种常见分布、三大分布函数、Dirichlet分布、卡方检验、T检验。

2.3 信息论：熵、联合熵、条件熵、互信息、困惑度。

熵：描述事件的不确定性。熵越大，表示事件的不确定性越高。熵等于0，事

件确定。熵等于1，表示随机事件为均匀分布。

最大熵理论：在无外力作用下，事物总是朝着最混乱的方向发展。即在已知条

件下，熵最大的事物，最可能接近它的真实状态。

2.4 自然语言处理：统计模型，如HMM、CRF、ME、SVM等。

3. 文本处理相关知识

文本表示：布尔模型、VSM、BM25、倒排索引

文本存储：Hash映射、Trie树，B树、红黑树

文本特征：词、词性、上下文信息、位置信息、词间信息、词内信息

文本相似度计算：cosine、SAO、PCA、LDA

三、词法分析

1. 分词

1.1 基于词典的分词方法

正向最大匹配

逆向最大匹配

双向最大匹配：当正向匹配和逆向匹配出现不一致的情况时，利用一些特征（比如：分词后的个数最少、分词后的单字非连续等）来选择最优的分词结果。

1.2 基于统计模型的分词方法

N元语法模型。

理论：任何字的集合都可以构成句子，只是构成句子的概率大小不一样。当字集合达到一定 概率，就认为是句子。

缺陷：没有考虑语言内部的结构信息。

方法：利用训练语料，统计测试语料中N元字之间的概率，将满足最大概率的句子当做正 确的结果。N等于1，为1元模型，即假定当前字仅和前一个字有关，N等于2，为 2元模型，即假定当前自仅和前两个字有关，N等于3，即假定当前字仅和前三个字 有关。

数据平滑：在利用训练语料进行统计的时候，会出现训练语料数据稀疏导致概率为0的情况， 这时需要做平滑处理。方法：加1法，Good Turing，绝对减值法，线性减值法， 回退法。

2. 词性标注（POS Tagging）

2.1 基于转换的错误驱动方法：基于转换规则，先给出初始标记，然后不断修正。通过语料库学习转换规则，是一种有监督的学习方法。

2.2 基于HMM的词性标注（成果：ICTCLAS 利用层叠HMM实现的分词、词性标注、命名实体识别的工具。）

3. 命名实体识别

3.1 i）专有名词：人、地、机构、??；ii）专业名词

3.2技术路线：基于HMM、ME、CRF等模型，基于角色标注的命名实体识别

4. 新词发现

5. 基于字标注的句法分析

5.1 基于字的分词方法

基于HMM的分词方法：将词进行切分标记，切分标记包括：O（单字）、B（词首字）、M（词中字）、E（词尾字），然后利用Viterbi算法求概率最大的切分标记集合。

基于ME的分词方法

基于互信息的分词方法

5.2 基于字标注方法的特点

模型简单：单一模型解决所有问题，词语切分、未定义词识别，甚至词性标注也可以用这个模型解决。

模型功能强大：可以任意选择特征、可以调节特征直接的权重。

四、句法分析

1.句法分析基础知识

1.1 策略：自顶向下（演绎）分析法；自底向上（规约）分析法；左角分析法：自顶向下和自底向上相结合的方法。

1.2 上下文无关语法的分析算法

a）移进-规约算法。

操作：移进、规约、接受、拒绝。

冲突：移进-规约冲突；规约-规约冲突；冲突解决方法：回溯

特点：是一种自底向上的分析算法。为了得到所有可能的分析结果，可以再每次分析成 功时都强制性回溯，知道分析失败。效率低下。

b）CYK算法。

不需要回溯；

建立在Chomsky范式的基础上；

数据结构为一个斜角二维矩阵：{P(i,j)}上。每一个元素P(i,j)对应于输入句子中某一个区间（Span）上所有可能形成的短语的非终结符集合。矩阵中填入该区间对应的词语序列上所有可能的短语标记。

c）Earley算法。在CYK的基础上加入了点规则。

d）Chart算法（图分析算法、线图分析算法）

2. 上下文无关文法

2.1 概率上下文无关文法（PCFG）

在CFG的基础上，加入规则的概率信息。

2.2 词汇化概率上下文无关文法

a）每一个非终结符被关联到一个中心词w和一个中心词形t。

b）中心成分的生成：词汇中心和结构中心，首先生成词汇中心，其次生成结构中心。词汇中心：中心词和中心词词性标记。结构中心：中心成分的短语标记。

3. 组块分析

又称为浅层分析（Shallow Parsing）。基本思想：由于完全句法分析非常困难。研究者采用分而治之的策略。首先从句子中识别出组块（Chunk），然后由组块结合成句子。

3. 基于短语的句法分析

4. 基于依存的句法分析

4.1 依存分析与短语结构分析类似，但依存分析丢掉了跨度信息和跨度上的句法标识。任何短语结构树句法分析模型输出的句法树，通过中心词映射规则即可转化为依存结构树。

4.2 依存分析模型

i）生成式依存模型

a）词汇依存概率模型（Collins model）

Train：通过极大似然估计，在树库中统计出任意两个词之间存在特定依存关系的

概率。对于给定的两个词，存在和不存在依存关系的概率之和为1。

Decode：寻找使得所有依存词对的依存概率的乘积最大的依存树，采用自底向上分析法，可采用Viterbi算法。

b）依存生成概率模型（Eisner model）

描述：给定一个带词性标记的输入语句，对于一棵可能的依存树，设该树中任一节点P，它的左孩子由近及远分别为LC1，LC2，??，LCm；右孩子分别为RC1，RC2，??，RCn。

定义P生成其所有孩子的概率为：

Train：对于每棵候选依存树T，整棵树的生成概率定义为树中所有节点生成概率的乘积，即Gen(T)??Gen(x)。

Decode：寻找生成概率最大的依存树，采用方法和词汇依存概率模型的方法一样。 ii）判别式依存模型

a）最大生成树模型：将寻找依存树的任务转化为寻找概率最大的生成树问题。 b）状态转移模型：分析过程的任一时刻称为一个状态，依据该状态下的特征做出某种决策，从而转入新的状态。

iii）依存分析模型比较

a）生成式依存模型通过简单的极大似然估计即可完成训练，且模型较小。缺点是分析准确率较低。

b）最大生成树模型和状态转移模型则需要在训练语料上进行多轮迭代以调节参数，训练耗时长且模型较大。优点是分析准确率高。

c）目前流行的是最大生成树模型和状态转移模型中的移进规约模型。其中，最大生成树模型擅长于确定远距离的依存关系，移进规约模型则对近距离依存关系识别准确率更高。

五、未来发展

六、额外知识

6.1 最大熵理论

I）问题定义：用A表示条件集合，B表示结论集合。随机事件

X?(?,?)???A*B,??A,??B

X1?{?1,?1},X2?{?2,?2},..；假设我们已知?n?1，如何预测?n?1？；Ii）用最大熵理论描述为：求解一个X的概率分布，；a)X的熵最大，可以表示为：p?argmaxH(；b)X的分布与已知的样本分布一致，可以描述为：E；中p为样本分布，p为模型分布；Iii）最大熵模型的参数估计问题可以表示为一个在；型如下：；其中，?是一个归一化参数，是

X1?{?1,?1},X2?{?2,?2},...Xn?{?n,?n}

假设我们已知?n?1，如何预测?n?1？

Ii）用最大熵理论描述为：求解一个X的概率分布，使得：

a) X的熵最大，可以表示为：p?argmaxH(p)。

b) X的分布与已知的样本分布一致，可以描述为：Ep[fi]?e^[fi],i?1,...,n，其

p

^

中p为样本分布，p为模型分布。其中，对于任何一个特征，模型和样本应该具有相同的均值。为了方便起见，将特征取值定义为bool类型。那么，这个公式可以理解为：模型中任何一个特征为1的概率与样本相同。

Iii）最大熵模型的参数估计问题可以表示为一个在约束条件下的极值问题。即：在一下约束条件下：Ep[fi]?e^[fi],i?1,...,n，求解p?argmaxH(p)。经推到，得到最大熵模

p

^

^

型如下：

其中，?是一个归一化参数，是个常量。?i是一组参数，其中每个参数对应于一个特征。 Iv）最大熵模型应用于预测。

给定条件?，结论为?的概率可以表示为：

给定条件?，最优的?可以表示为：

可以看出，一旦得到这组参数?，那么对于给定的条件?，只要将其所有值为1特征fi对应的?i加起来，取和最大的?即可。