NLP入门-Task2 特征提取

此部分依据【nlp】中文分词基础原则及正向最大匹配法、逆向最大匹配法、双向最大匹配法的分析教程编写

分词

分词概念

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多、困难得多。

分词算法

现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。

分词算法设计中的几个基本原则：

1、颗粒度越大越好：用于进行语义分析的文本分词，要求分词结果的颗粒度越大，即单词的字数越多，所能表示的含义越确切。

2、切分结果中非词典词越少越好，单字字典词数越少越好，这里的“非词典词”就是不包含在词典中的单字，而“单字字典词”指的是可以独立运用的单字，如“的”、“了”、“和”、“你”、“我”、“他”。

3、总体词数越少越好，在相同字数的情况下，总词数越少，说明语义单元越少，那么相对的单个语义单元的权重会越大，因此准确性会越高。

最大匹配法：最大匹配是指以词典为依据，取词典中最长单词为第一个次取字数量的扫描串，在词典中进行扫描（为提升扫描效率，还可以跟据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描）。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。

正向最大匹配算法

从左到右将待分词文本中的几个连续字符与词表匹配，如果匹配上，则切分出一个词。但这里有一个问题：要做到最大匹配，并不是第一次匹配到就可以切分的 。我们来举个例子：
待分词文本： sentence[]={“计”，“算”，“语”，“言”，“学”，“课”，“程”，“有”，“意”，“思”}
词表： dict[]={“计算”, “计算语言学”, “课程”, “有”, “意思”} （真实的词表中会有成千上万个已经平时我们使用的分好的词语）
(1) 从sentence[1]开始，当扫描到sentence[2]的时候，发现"计算"已经在词表dict[]中了。但还不能切分出来，因为我们不知道后面的词语能不能组成更长的词(最大匹配)。
(2) 继续扫描content[3]，发现"计算语"并不是dict[]中的词。但是我们还不能确定是否前面找到的"计算语"已经是最大的词了。因为"计算语"是dict[2]的前缀。
(3) 扫描content[4]，发现"计算语言"并不是dict[]中的词。但是是dict[2]的前缀。继续扫描：
(3) 扫描content[5]，发现"计算语言学"是dict[]中的词。继续扫描下去：
(4) 当扫描content[6]的时候，发现"计算语言学课"并不是词表中的词，也不是词的前缀。因此可以切分出前面最大的词——“计算语言学”。
最大匹配出的词必须保证下一个扫描不是词表中的词或词的前缀才可以结束。

逆向最大匹配算法

逆向匹配算法大致思路是从右往左开始切分，其他逻辑和正向相同。

双向最大匹配法

由于正向最大匹配法和逆向最大匹配法，都有其局限性，因此有人又提出了双向最大匹配法，双向最大匹配法。即，两种算法都切一遍，然后根据大颗粒度词越多越好，非词典词和单字词越少越好的原则，选取其中一种分词结果输出。
如：“我们在野生动物园玩”

正向最大匹配法，最终切分结果为：“我们/在野/生动/物/园/玩”，其中，两字词3个，单字字典词为2，非词典词为1。

逆向最大匹配法，最终切分结果为：“我们/在/野生动物园/玩”，其中，五字词1个，两字词1个，单字字典词为2，非词典词为0。

非字典词：正向(1)>逆向(0)（越少越好）

单字字典词：正向(2)=逆向(2)（越少越好）

总词数：正向(6)>逆向(4)（越少越好）

因此最终输出为逆向结果。

此部分依据自然语言处理之语言模型（LM）编写

语言模型

统计语言模型

一个语言模型通常构建为字符串s的概率分布p(s)，这里的p(s)实际上反映的是s作为一个句子出现的概率。这里的概率指的是组成字符串的这个组合，在训练语料中出现的似然，与句子是否合乎语法无关。假设训练语料来自于人类的语言，那么可以认为这个概率是这句话是否是人话的概率。

N-gram语言模型

为了解决自由参数数目过多的问题，引入了马尔科夫假设：随意一个词出现的概率只与它前面出现的有限的n个词有关。基于上述假设的统计语言模型被称为N-gram语言模型。
通常情况下，n的取值不能够太大，否则自由参数过多的问题依旧存在：
（1）当n=1时，即一个词的出现与它周围的词是独立，这种我们称为unigram，也就是一元语言模型，此时自由参数量级是词典大小V。
（2）当n=2时，即一个词的出现仅与它前面的一个词有关时，这种我们称为bigram，叫二元语言模型，也叫一阶马尔科夫链，此时自由参数数量级是V^2。
（3）当n=3时，即一个词的出现仅与它前面的两个词有关，称为trigram，叫三元语言模型，也叫二阶马尔科夫链，此时自由参数数量级是V^3。

一般情况下只使用上述取值，因为从上面可以看出，自由参数的数量级是n取值的指数倍。从模型的效果来看，理论上n的取值越大，效果越好。但随着n取值的增加，效果提升的幅度是在下降的。同时还涉及到一个可靠性和可区别性的问题，参数越多，可区别性越好，但同时单个参数的实例变少从而降低了可靠性。

N-gram语言模型的求解跟传统统计语言模型一致，都是求解每一个条件概率的值，简单计算N元语法在语料中出现的频率，然后归一化。

我们在传统统计语言模型提出了两个问题：自由参数数目和数据稀疏，上述N-gram只是解决了第一个问题，而平滑化就是为了解决第二个问题。

假设有一个词组在训练语料中没有出现过，那么它的频次就为0，但实际上能不能认为它出现的概率为0呢？显然不可以，我们无法保证训练语料的完备性。那么，解决的方法是什么？如果我们默认每一个词组都出现1次呢，无论词组出现的频次是多少，都往上加1，这就能够解决概率为0的问题了。

上述的方法就是加1平滑，也称为拉普拉斯平滑。平滑化还有
加法平滑，古德-图灵平滑，K平滑
此部分依据jieba分词，利用jieba进行中文分词并进行词频统计等多篇博文编写

jieba分词

分词和词频统计

import jieba
import jieba.analyse
import re
from collections import Counter
cut_words=""
for line in open('./cnews/cnews.train.txt',encoding='utf-8'):
    line.strip('\n')
    #去掉英文字母，数字，标点符号
    line = re.sub("[A-Za-z0-9\：\·\—\，\。\“ \”]", "", line)
    #jieba分词精确模式
    seg_list=jieba.cut(line,cut_all=False)
    cut_words+=(" ".join(seg_list))
#分词后分割每个词    
all_words=cut_words.split()
print(all_words)
c=Counter()
#遍历分词并统计
for x in all_words:
    if len(x)>1 and x != '\r\n':
        c[x] += 1

print('\n词频统计结果：')
for (k,v) in c.most_common(2):# 输出词频最高的前两个词
    print("%s:%d"%(k,v))

上面代码使用了jieba分词的精确模式，该模式试图将句子最精确地切开，适合文本分析。

去停用词

text = open('/Users/jiaoyapeng/desktop/test1.txt','r',encoding='UTF-8').read()
cut_words = jieba.cut(text, cut_all=False)
stopwords = [line.strip() for line in open('/Users/jiaoyapeng/desktop/stopwords.txt', 'r', encoding='utf-8').readlines()]
outstr = ''
for word in cut_words:
    if word not in stopwords:
        if word != '\t':
            outstr += word
            outstr += " "
print(outstr)

构造词表和向量化

请参看上篇博文NLP入门-Task1 数据集探索中的build_vocab和process_file两个方法