Python笔记 之 利用余弦相似性进行文本选择

使用Python语言利用余弦相似度进行文本选择

余弦相似性简介

余弦相似性相关知识请参考：百度百科(余弦相似度)

二维余弦相似度计算公式：$cos(\theta )$=$\frac{x_1{x}_2+y_1{y}_2}{\sqrt{x_1^2+y_1^2}\ast \sqrt{x_2^2+y_2^2}}$

N维余弦相识度计算公式：$cos(\theta )$=$\frac{\sum _{k\to 1}^{k\to n}{x}_{1k}{x}_{2k}}{\sqrt{\sum _{k\to 1}^{k\to n}{x}_{1k}}\ast \sqrt{\sum _{k\to 1}^{k\to n}{x}_{2k}}}$
Makedown公式：

'''
$cos(\theta)$=${x_1x_2+y_1y_2}\over{\sqrt {x_1^2+y_1^2}*\sqrt {x_2^2+y_2^2}}$
$cos(\theta)$=${\displaystyle \sum^{k \to n}_{k \to 1}{x_{1k}x_{2k}}}\over{\sqrt {\displaystyle \sum^{k \to n}_{k \to 1}{x_{1k}}}*\sqrt {\displaystyle \sum^{k \to n}_{k \to 1}{x_{2k}}}}$'''

设计思路

从不同数据源抽取的数据进行ETL时候需要从多个相同的备选字段选取一个作为ETL后的字段，于是想到利用余弦相似性选取候选列表里比较靠近质点向量的作为选取属性。
此函数相对简单，至于更为复杂的可能需要自己添加userdict和stopword，或者对字典进行调整。
对所选的字段没有特殊规定，只希望选取有一定的原则（什么原则则无要求），这是简单的算法符合需求的原因。

Python实现

import jieba
import numpy
import sklearn.feature_extraction.text
             
def getCenterVectorMatrix(text):
    '''text为待分析的文本数据列表(矩阵版本)'''
    if text:
        _text=[]
        jieba.enable_paddle()
        for item in text:
            _text.append(' '.join(jieba.lcut(item,cut_all=False,use_paddle=True)))
        #类 CountVectorizer 实现词语切分，频数统计，生成关键词稀疏矩阵            
        vectorizer = sklearn.feature_extraction.text.CountVectorizer()
        #生成列表的TF-IDF词频稀疏矩阵
        csr_matrix=vectorizer.fit_transform(_text)
        #转换成矩阵
        matrix=csr_matrix.todense()
        rows,columns=matrix.shape
        #求列表向量的质点
        particle=[]
        for c in range(columns):
            sum_column=float(sum(matrix[:,c]))
            particle.append(round(sum_column/rows,8))
        particle=numpy.array(particle)
        #取离质点最近的向量
        distance_max=numpy.dot(matrix[0],particle)/(numpy.linalg.norm(matrix[0])*(numpy.linalg.norm(particle)))
        number_choice=0
        for r in range(rows):
            distance=numpy.dot(matrix[r],particle)/(numpy.linalg.norm(matrix[r])*(numpy.linalg.norm(particle)))
            if distance_max<distance:
                distance_max=distance
                number_choice=r
        return text[number_choice]
    else:
        return None