语料库与语言知识库

---

1.包含内容

1.1大规模语言数据

$\bullet$ 模型训练参数
$\bullet$ 测评标准

1.2NLP中的知识库

$\bullet$ 词汇语义库
$\bullet$ 词法、句法规则库
$\bullet$ 常识库等

---

2.语料库

2.1定义

指经科学取样和加工的大规模电子文本库，其中存放的是真实出现过的语言材料

2.2类型

$\bullet$ 按语言种类:
（1） 单语
（2）双语的或者多语的：篇章对齐/句子对齐/结构对齐

$\bullet$ 是否标注:
（1）词性标注
（2）句法结构信息标注（树库）
（3）语义信息标注

$\bullet$ 平行语料库:
两种或多种语言之间的平行采样和加工，比如机器翻译中的双语对齐语料库

2.3典型语料库

$\bullet$ 宾夕法尼亚大学树库：在$ChineseTreeBank（CTB）$中汉语词性被划分为33类，23类句法标记

对于一句话的标注如下（树形结构）：

$\bullet$ 北京大学开发的CLKB：包含的内容较多，其中对于汉语短语结构规则库有600条语法规则，对于平行语料库含对译的英汉句对100万…

多级加工语料样例：

$\bullet$ 口语语料库：$BTEC$，目标是开展语音翻译的国际合作交流，开发实用的语音翻译技术。

---

3.词汇知识库

3.1WordNet

3.1.1介绍

$\bullet$ 开发者：普林斯顿大学认知科学实验室
$\bullet$ 开发目的：解决词典中同义信息的组织问题
$\bullet$ 五大类词汇：名词、动词、形容词、副词、虚词
$\bullet$ 特色：按词义组织词汇信息，它算是一部语义词典

3.1.2四种语义关系

$\bullet$ 同义关系
$\bullet$ 反义关系
$\bullet$ 上下位关系或从属/上属关系：{树}是{植物}的下位
$\bullet$ 部分关系或部分/整体关系

3.1.3应用

$\bullet$ 词汇消歧
$\bullet$ 语义推理
$\bullet$ 理解

3.2HowNet（知网）

---

4.思维导图