词性标注和命名体识别

词性是词汇的基本属性，通常也称为词类。词性标注是在给定的句子判断每个词的语法范畴，并加以标注的过程。在中文中，一个词的词性往往会在不同的语境中有不同的词性，但是大多是词语一般只有一到两个词性，并且其中一个词性的使用频率一般远远大于另一个词性。目前主流的词性标注方法和分词一样，将词性标注看住一个序列标注问题解决。

词性标注规范表自己去看，，，，，，，

Jieba分词的词性标注

这里使用结合规则和统计的方式，以字典匹配和HMM的方法。流程如下：

1. 首先基于正则表达式进行汉字判断，表达式是re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\.-]+)")
2. 若符合上述正则表达式，则判定为汉字，然后基于前缀词典构建有向无环图，再基于有向无环图计算最大概率，同时在前缀词典中找出它的词性，若在词典中未找到词性，则标注为“x”（表示为未知）。若使用HMM则使用HMM进行词性标注。
3. 若不符合上面正则表达式，则继续通过正则表达式进行词性判断，标为“x”（未知）“m”（数词）“eng”（英文）

因为其方法和分词任务大概相同，所以可以将其联合起来共同实现

命名体识别

命名体识别是NLP的一项基础任务，其目的是识别语料中的人名，地名，机构名等内容，但是这些名词太多，因此一般把这些任务在词汇形态处理任务中独立处理，称为