从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（4）

TF-IDF向量距离度量和数据分析

我们完成了新闻标题文档的TF-IDF向量空间模型，现在我们来看看它对于我们的任务目标（辨别新闻标题A和B的关系）有什么帮助。

用TF-IDF模型度量新闻标题A和B的距离

我们把之前用 pickle 持久化保存的分词结果加载进来，继续下面的内容。

import pandas as pd 
import pickle 
 
pkl_file_rb = open(r'./save_file', 'rb') 
train =pickle.load(pkl_file_rb) 

回顾一下上次所讲，使用 sklearn 包中的 TfidfVectorizer 函数训练TF-IDF模型。

from sklearn.feature_extraction.text import TfidfVectorizer 
 
corpus = pd.concat([train . title1_tokenized, train . title2_tokenized]) 
corpus = [c for c in corpus] 
 
tfidf_model = TfidfVectorizer().fit(corpus) 

matrix1= tfidf_model.transform(train['title1_tokenized']) 
matrix2= tfidf_model.transform(train['title2_tokenized']) 
matrix1.shape, matrix2.shape 

((320552, 67243), (320552, 67243))

现在我们通过计算向量距离的方法，度量新闻标题A和B的距离。向量之间距离算法和相似度计算方法有非常多，这里我们用常见的余弦相似度计算法（cosine similarity measure）：

import numpy as np 
 
def cos_sim(a, b): 
    a_norm = np.linalg.norm(a) 
    b_norm = np.linalg.norm(b) 
    cos = np.dot(a,b)/(a_norm