NLP基础笔记2——词性标注与命名实体识别，关键词提取技术

一、词性标注

词性标注（Part-of-Speech tagging 戒POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词戒其他词性的过程。在汉语中，词性标注比较简单，因为汉语词汇词性多变的情况比较少见，大多词语只有一个词性，戒者出现频次最高的词性远远高于第二位的词性。据说，只需选取最高频词性，即可实现80%准确率的中文词性标注程序。

 

任务：词性识别后，滤除掉不要的词（文本过滤的一种方式）

 

二、命名实体识别

命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、丏有名词等。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。

 

三、关键词提取技术

TextRank算法

TextRank算法最早用于文档的自动摘要，也用于关键词提取，基本思想来源于Google的PageRank。

TF-IDF算法

TF/IDF（term frequency–inverse document frequency）用以评估字词对于一个文件集其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，随着它在语料库中出现的频率下降。
•词频 (term frequency, TF) 词语在文件中出现的次数，一般进行归一化，防止长文件数字过大。
•逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。总文件数除以包含该词语文件数，再将得到的商取对数。
结论：在某特定文件内的高频率词语，但是该词语在整个文件集合中在较少文件中出现，TF-IDF值较高。

TF-IDF应用举例
1）关键词提取
2）句子相似度计算
3）其他算法的前置算法
TF-IDF文章相似度计算流程：
A、使用TF-IDF算法，分别找出两篇文章的关键词；
B、分别取每篇文章TF/IDF值top15（戒者其他值）的词，合并成一个集合，计算该集合下，每篇文章关键词的相对词频；
C、分别生成两篇文章的词频向量；
D、计算两个向量的余弦相似度，值越大就表示越相似。

举例如下：

S1：香蕉和苹果都是水果。
S2：香蕉和苹果都是水果,也是常见的水果。
1）分词：S1：香蕉/和/苹果/都/是/水果/。 S2：香蕉/和/苹果/都/是/水果/,/也/是/常见/的/水果/。
2）合并所有的词为集合（无重复词）(香蕉 和 苹果 都 是 常见 的 水果 也)
3）计算每个句子词频向量：
v1=[1,1,1,1,1,0,0,1,0],v2=[1,1,1,1,2,1,1,2,1]
4）计算余弦相似度