python之nlp初体验

最近工作中需要用到文本相似度匹配。目前我手里有两份文件，一份是医生记录的疾病名称，另外一份是疾病名称和疾病编码的对应表。定睛一看，都有疾病名称，merge呀！但是，理想很丰满，现实很骨感。第一、一种疾病可以有多种命名方式，比如“动脉硬化”就可以叫做动脉粥样硬化、动脉粥样硬化症...，或者会有患者的一些其他症状；第二、有些记录中附加了一些编码信息。其实第二点还好，固定格式分割一下就好，第一个问题就没这么容易了。所以借此机会，我尝试了一下nlp文本相似度匹配，主要用了sklearn里的tfidf和词袋模型、gensim里的tfidf模型。下面我们用一个例子引入，分别介绍一下它们的用法，最后总结一下我的收获。

这是我们的数据：

data = ['我喜欢吃苹果',
        '你喜欢吃香蕉',
        '我想出去玩',
        '你需要一个苹果吗',
        '我不要你的菠萝',
        '你可以给我带份菠萝炒饭吗'
        ]

test = ['我想吃饭，你可以给我带吗']

先用jieba分词：

def tokenization(text):
    words = jieba.cut(text, cut_all=True)   # cut_all模式下会扫描出句子中所有词语
    return ' '.join(words)

train_vec = [tokenization(x) for x in data]   # 训练数据分词
print('train_vec',train_vec)

test_vec = [tokenization(x) for x in test]   # 测试数据分词
print('test_vec',test_vec)

下面我们就用上面分词得到的数据作为训练数据和测试数据尝试一下三种方法。

CountVectorizer

cv = CountVectorizer(token_pattern=r'(?u)\b\w+\b')    # token_pattern为正则表达式，用来筛选关键字
cv.fit(train_vec)      # 模型训练
train_vec_cv = cv.transform(train_vec)
test_vec_cv = cv.transform(test_vec)

# 计算test_vec_cv中每个样本和train_vec_cv中所有样本的余弦相似度，返回结果是m*n矩阵
sim_cv = cosine_similarity(test_vec_cv, train_vec_cv)      
print("countvectorizer相似度:\n", sim_cv)

# 从train_vec_cv中匹配与test_vec_cv余弦距离最小的样本，返回索引和余弦距离
min_index_cv, min_dist_cv = pairwise_distances_argmin_min(test_vec_cv, train_vec_cv, metric='cosine')
print("距离最近的样本索引",min_index_cv, '\n最小距离：',min_dist_cv)

输出结果为：

离测试数据最近的样本是第6个样本，相似度为0.78，它们之间的距离为0.22。这里用的是余弦距离，余弦相似度=1-余弦距离

TfidfVectorizer

tfidf = TfidfVectorizer(token_pattern=r'(?u)\b\w+\b')
tfidf.fit(train_vec)
train_vec_tf = tfidf.transform(train_vec)
test_vec_tf = tfidf.transform([tokenization(x) for x in test])

sim_tf = cosine_similarity(test_vec_tf, train_vec_tf)
print("tfidfvectorizer相似度:\n", sim_tf)

min_index_tf, min_dist_tf = pairwise_distances_argmin_min(test_vec_tf, train_vec_tf, metric='cosine')
print("距离最近的样本索引",min_index_tf, '\n最小距离：',min_dist_tf)

输出结果为：

tfidf得到的相似度最大的也是6，相似度为0.76，余弦距离为0.24

gensim TfidfModel

train_vec_tf2 = [x.split() for x in train_vec]    # gensim中用于构造词典的样本集中每个样本的关键字需要存放在列表中
dictionary = corpora.Dictionary(train_vec_tf2)     # 构建词典
train_vec_tf2 = [dictionary.doc2bow(word) for word in train_vec_tf2]  # 生成语料
tfidf_model = models.TfidfModel(train_vec_tf2, dictionary=dictionary)   # 训练模型
train_tf2 = tfidf_model[train_vec_tf2]     # 生成特征矩阵
featurenum = len(dictionary.token2id.keys())     # 得到特征数
index = similarities.SparseMatrixSimilarity(train_tf2, num_features=featurenum)

# 测试
test_vec_df2 = [x.split() for x in test_vec][0]
test_vec_df2 = dictionary.doc2bow(test_vec_df2)
test_tf2 = tfidf_model[test_vec_df2]
sim = index.get_similarities(test_tf2)
print("TfidfModel相似度:\n", sim)

输出结果为：

结果一样，相似度最高的是第6个样本，相似度为0.77

全部的代码：

import pandas as pd
import numpy as np
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer
from gensim import models, corpora, similarities
from sklearn.metrics import pairwise_distances_argmin_min
from sklearn.metrics.pairwise import cosine_similarity
#%%    jiaba分词
data = ['我喜欢吃苹果',
        '你喜欢吃香蕉',
        '我想出去玩',
        '你需要一个苹果吗',
        '我不要你的菠萝',
        '你可以给我带份菠萝炒饭吗'
        ]

test = ['我想吃饭，你可以给我带吗']
def tokenization(text):
    words = jieba.cut(text, cut_all=True)
    return ' '.join(words)

train_vec = [tokenization(x) for x in data]
print('train_vec',train_vec)

test_vec = [tokenization(x) for x in test]
print('test_vec',test_vec)

#%%  CountVectorizer   token_pattern=r'(?u)\b\w+\b'
print("===============CountVectorizer==============")
cv = CountVectorizer(token_pattern=r'(?u)\b\w+\b')
cv.fit(train_vec)
train_vec_cv = cv.transform(train_vec)
test_vec_cv = cv.transform(test_vec)

sim_cv = cosine_similarity(test_vec_cv, train_vec_cv)
print("countvectorizer相似度:\n", sim_cv)

min_index_cv, min_dist_cv = pairwise_distances_argmin_min(test_vec_cv, train_vec_cv, metric='cosine')
print("距离最近的样本索引",min_index_cv, '\n最小距离：',min_dist_cv)


#%%  TfidfVectorizer
print("===============TfidfVectorizer==============")
tfidf = TfidfVectorizer(token_pattern=r'(?u)\b\w+\b')
tfidf.fit(train_vec)
train_vec_tf = tfidf.transform(train_vec)
test_vec_tf = tfidf.transform([tokenization(x) for x in test])

sim_tf = cosine_similarity(test_vec_tf, train_vec_tf)
print("tfidfvectorizer相似度:\n", sim_tf)

min_index_tf, min_dist_tf = pairwise_distances_argmin_min(test_vec_tf, train_vec_tf, metric='cosine')
print("距离最近的样本索引",min_index_tf, '\n最小距离：',min_dist_tf)


#%% gensim TfidfModel
print("===============gensim TfidfModel==============")
train_vec_tf2 = [x.split() for x in train_vec]
dictionary = corpora.Dictionary(train_vec_tf2)     # 构建词典
train_vec_tf2 = [dictionary.doc2bow(word) for word in train_vec_tf2]  # 生成语料
tfidf_model = models.TfidfModel(train_vec_tf2, dictionary=dictionary)   # 训练模型
train_tf2 = tfidf_model[train_vec_tf2]     # 生成特征矩阵
featurenum = len(dictionary.token2id.keys())     # 得到特征数
index = similarities.SparseMatrixSimilarity(train_tf2, num_features=featurenum)

# 测试
test_vec_df2 = [x.split() for x in test_vec][0]
test_vec_df2 = dictionary.doc2bow(test_vec_df2)
test_tf2 = tfidf_model[test_vec_df2]
sim = index.get_similarities(test_tf2)
print("TfidfModel相似度:\n", sim)

最后总结一下在这次小实践中的收获：

1. 结合任务选择合适的模型。虽然现在看到很多文章说在文本分类任务中Tfidf效果比词袋模型好，但是不是所有场景都适用。在我做疾病名称匹配时，像胃病、溃疡这种关键的疾病名称出现次数往往比较多，而类似化脓、大叶、上肢这样的修饰词反倒出现的次数少，按照tfidf来看的话，后面的修饰词反倒更重要一些，这就本末倒置了。在这一场景下，我觉得用   词频*逆文本频率  作为特征效果会更好。

2. 停用词表要根据实际场景做增删。匹配过程中发现“心脑血管疾病”匹配到“心脑血管疾病，其它的”，且相似度为1。后发现是由于其它在停用词表中，导致这两个名称转化为向量是一样的。

3. sklearn中的CountVectorizer()和TfidfVectorizer()默认设置词典中只保留长度>=2的关键字，需要结合任务修改token_pattern参数。在我第一次尝试的时候发现这样的例子：非化脓性损伤匹配到的是化脓性损伤，而且相似度为1，然后发现词典中根本没有保留“非”这个关键字。

4. 在最初尝试的时候，我计划用cosine_similarity计算相似度矩阵，但是数据量太大，报错：Memory Error。这种时候可以尝试用pairwise_distances_argmin_min(A, B)，对于A中每个样本，会找到B中与A距离最小的样本，并返回对应的索引和距离。这个方法计算速度快，占用内存更小一些，支持欧氏距离、余弦距离...