向量空间模型在文档相似度上的应用

原创

已于 2024-04-02 12:03:06 修改 · 1.5k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #中文分词 #算法 #自然语言处理

于 2024-03-31 22:30:42 首次发布

本文介绍了向量空间模型(VSM)的基本概念，包括词集模型和词袋模型的文本表示方法，以及如何通过余弦相似度和欧氏距离计算文档间的相似度。通过实例展示了如何使用Python和sklearn库进行中文分词、向量化和相似度计算，最后提到了TF-IDF的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、定义

向量空间模型（Vector Space Model, VSM），是将文本表示为特定术语、词索引的向量，即通过已有的词典对文本进行向量化。它以空间上的相似度表达语义的相似度，当文档被表示为文档空间的向量，就可以通过计算向量之间的相似性来度量文档间的相似性。

二、模型

2.1 词集模型

词集模型（Set-of-words，SoW）是将文本表示为一个集合的方法，其中每个词项仅出现一次，不考虑词频和词序。
特点：简单，但忽略了词频、词序信息。
应用场景：适用于只需要判断词项是否出现的场景，如某些特定的分类和检索任务。

2.2 词袋模型

词袋模型（Bag-of-words，BoW）是一种更复杂的文本表示方法，与词集模型不同，词袋模型允许文本中的每个词多次出现，并记录每个词的出现次数。
特点：考虑了词频信息，但忽略了词序。
应用场景：广泛用于文本分类、情感分析、文档聚类等任务。

2.3 举例

假设我有这样两个句子：

苹果橙子苹果橙子苹果
苹果橙子

那么我可以将这两个句子分别分词：

苹果/橙子/苹果/橙子/苹果
苹果/橙子/

构建词汇表集合并转换为序列：

[‘橙子’, ‘苹果’]

在该词典的基础之上，分别应用上述两种模型构造文本向量，则有：

SoW：
文档 1: [1, 1]
文档 2: [1, 1]

BoW：
文档 1: [2, 3]
文档 2: [1, 1]

代码实现：

# 词集模型和词袋模型代码实现
import jieba
from sklearn.metrics.pairwise import cosine_similarity, euclidean_distances

# 定义文本文档
documents = [
    "苹果橙子苹果橙子苹果",
    "苹果橙子"
]

# 使用jieba进行中文分词
documents_cut = [" ".join(jieba.cut(doc)) for doc in documents]
print("分词结果：", documents_cut)

# 构建词汇表
vocab_set = set(" ".join(documents_cut).split(" "))
vocab_list = list(vocab_set)

print("词汇表：", vocab_list)

# 词集模型（Set of Words, SoW）向量表示
sow_vectors = []
for doc in documents_cut:
    vector = [1 if word in doc.split() else 0 for word in vocab_list]
    sow_vectors.append(vector)

print("\nSoW向量表示：")
for i, vector in enumerate(sow_vectors):
    print(f"文档 {
     
     i+1}: {
     
     vector}")

# 词袋模型（Bag of Words, BoW）向量表示
bow_vectors = []
for doc in documents_cut:
    vector = [doc.split().count(word) for word in vocab_list]
    bow_vectors.append(vector)

print("\nBoW向量表示：")
for i, vector in enumerate(bow_vectors):
    print(f"文档 {
     
     i+1}: {
     
     vector}")

# 计算SoW模型的余弦相似度和欧氏距离
sow_cosine_sim = cosine_similarity(sow_vectors)
sow_euclidean_dist = euclidean_distances(sow_vectors)

# 计算BoW模型的余弦相似度和欧氏距离
bow_cosine_sim = cosine_similarity(bow_vectors)
bow_euclidean_dist = euclidean_distances(bow_vectors)

print(f"\nSoW模型余弦相似度：\n{
     
     sow_cosine_sim}")