nlp常用任务以及各类任务常用模型

nlp常用任务以及各类任务常用模型

---

本文主要简单描述目前nlp方向的应用类型以及该类型下的常用方法（以及目前通用的数据集）

详细信息参考自 https://github.com/sebastianruder/NLP-progress

---

nlp四大任务类型

序列标注：分词/POS Tag词性标注/NER命名实体识别

分词/POS Tag词性标注

目前分词和词性标注技术已经非常成熟，常用的库有Jieba，哈工大pyltp等，以下不再赘述。
具体分词技术可以参考 https://blog.csdn.net/scarlettyellow/article/details/80458043

词性标注的目的在于得到分词之后每个词的语法属性（名词，动词，形容词等）；主要任务是消除词性兼类歧义；可以应用在句法分析，词汇获取，信息抽取等应用中。
中文词性标注的难点在于中文没有屈折变化，也没有附加词缀，即一个词能够不改变形态的情况下表示多种意思，所以无法像英语那样通过词缀进行词性标注。
具体词性标注技术可以参考：
https://github.com/sebastianruder/NLP-progress/blob/master/english/part-of-speech_tagging.md
https://www.zhihu.com/question/302423008
汉语词性对照表