nlp常用任务以及各类任务常用模型
本文主要简单描述目前nlp方向的应用类型以及该类型下的常用方法(以及目前通用的数据集)
详细信息参考自 https://github.com/sebastianruder/NLP-progress
nlp四大任务类型
序列标注:分词/POS Tag词性标注/NER命名实体识别
分词/POS Tag词性标注
目前分词和词性标注技术已经非常成熟,常用的库有Jieba,哈工大pyltp等,以下不再赘述。
具体分词技术可以参考 https://blog.csdn.net/scarlettyellow/article/details/80458043
词性标注的目的在于得到分词之后每个词的语法属性(名词,动词,形容词等);主要任务是消除词性兼类歧义;可以应用在句法分析,词汇获取,信息抽取等应用中。
中文词性标注的难点在于中文没有屈折变化,也没有附加词缀,即一个词能够不改变形态的情况下表示多种意思,所以无法像英语那样通过词缀进行词性标注。
具体词性标注技术可以参考:
https://github.com/sebastianruder/NLP-progress/blob/master/english/part-of-speech_tagging.md
https://www.zhihu.com/question/302423008
汉语词性对照表