NLP基础任务 - 句法分析简介

作者：nlp初学者小吴 (清华大学) 已获授权

链接：https://zhuanlan.zhihu.com/p/565282216

编辑：深度学习自然语言处理 公众号

句法（Syntactic）分析是NLP的经典任务

Syntactic tasks: Word level

Word level的句法分析任务有：形态分析、分词、序列标注

形态分析：Morphological analysis，指将一个词的词根（stem）和词缀（prefix & suffix）提取出来的任务

分词：Word segmentation or Tokenization，不同的语言分词方法不一样。对于中文、日文等语言，语句由字符的序列组成，因此词的形态化比较简单，分词一般指将文本中的字的序列分割成词的序列。此外，中文分词的歧义性较强。而对于英文，没有所谓的“分词”，对应的任务叫做Tokenization，指将文本序列切成由token组成的序列，如Wendy's -> Wendy + 's。Tokenization可以概括为按照特定需求，把文本切分成一个字符串序列（其元素一般称为token，或者叫词语）。

根据不同的需求，tokenization有不同的分割粒度：

1. 字粒度：I have a apple -> I / h / a / v / e / a / a / p / p / l / e

2. 词粒度：I have a apple -> I / have / a / apple

3. subword粒度：I have a new GPU. -> ['i', 'have', 'a', 'new', 'gp', '##u', '.']

词性标注：Part-of-speech(POS)，将词在句子中扮演的角色进行标注，如动词、名词等。因为一词多义的存在，这个过程也存在歧义性。具体的tag可以参考：Universal POS tags，更细粒度的tag(Spacy)

1. Syntactic tasks: Sentence level 任务很多，其中Dependency parsing 和 Constituent parsing 比较常见。

成分句法分析：Constituent parsing，找到一句话中的层次短语结构

依存句法分析：Dependency parsing，这种句法结构通过词之间的两两关系组成一句话的结构。这些关系包含：主语、宾语、修饰语等等，每个词修饰一句话中的另一个唯一的词（除了root节点，如下图中的bought）。

CCG parsing，组合范畴句法分析，形式为一种高度词汇化的句法

CCG supertagging：在组合句法分析中，给每个词打标签

Syntactic chunking：把一个句子，切成比较大的短语块

reference

• 【西湖大学 张岳老师｜自然语言处理在线课程 第一章 - 3节】基础NLP任务介绍——语义分析任务_哔哩哔哩_bilibili

• 李宏毅NLP(自然语言处理)完整课程，强推！_哔哩哔哩_bilibili(待参考)

---

📝论文解读投稿，让你的文章被更多不同背景、不同方向的人看到，不被石沉大海，或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。

最近文章

为什么回归问题不能用Dropout？

Bert/Transformer 被忽视的细节

中文小样本NER模型方法总结和实战

一文详解Transformers的性能优化的8种方法

DiffCSE: 将Equivariant Contrastive Learning应用于句子特征学习

苏州大学NLP团队文本生成&预训练方向招收研究生/博士生（含直博生）

---

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注~