NLP系列——NLP基础
NLP基础部分包括基础术语、知识结构、语料库等部分内容。
文章目录
一、基础术语
基础专业词汇包括:分词(segment)、词性标注(part-of-speach tagging)、命名实体识别(NER,Named Entity Recognition)、句法分析(syntax parsing)、指代消解(anaphora resolution)、情感识别(emotion recognition)、纠错(correction)、问答系统(QA system)等。
1.1 分词(segment)
英文:由空格分隔
中文:最常用的手段是基于字典的最长串匹配
1.2 词性标注(part-of-speach tagging)
对词的词性进行标注:动词、名词、形容词等
目的:表征词的一种隐藏状态,隐藏状态构成的转移就构成了状态转移序列