自然语言处理-词向量转换

一、简介

1.含义

词向量转换是自然语言处理（NLP）中的一个核心技术，它将词汇表中的每个词映射为一个固定长度的向量。这种向量表示能够捕捉到词的语义和语法信息，为许多NLP任务提供支持。

2.基本原理

词向量转换主要基于分布式表示（Distributed Representation）的思想，即每个词被表示为一个实数向量，而不是传统的离散符号。这种表示方法能够捕捉到词之间的语义相似性，因为具有相似上下文的词在语义上往往具有相似的含义。分布式假设认为，语义相似的词在文本中出现的上下文环境也相似。通过将词映射为连续的实数向量，可以捕捉到词之间的语义相似性。

3.常见转换方法

1）. 独热编码（One-Hot Encoding）

独热编码是最简单的词向量表示方法。在这种方法中，每个词都被表示为一个很长的向量，其长度等于词汇表的大小。每个词向量中只有一个元素为1（表示该词本身），其余元素均为0。这种方法简单易懂，但存在维数灾难和词汇鸿沟的问题（即任意两个词之间都是孤立的，无法体现词与词之间的语义关系）。

2）. 词袋模型（Bag of Words, BoW）

词袋模型是独热编码的一种扩展，它考虑了文本中所有词的出现情况，但不考虑词序。文本被表示为一个向量，其中每个维度对应词汇表中的一个词，向量的值是该词在文本中出现的次数或经过某种加权（如TF-IDF）后的值。尽管考虑了词频，但词袋模型仍然忽略了词序和语义信息。

3）. TF-IDF（Term Frequency-Inverse Document Frequency）

TF-IDF是一种统计方法，用以评估一个词语对于一个文件集或一个语料库中的其中一份文件的重要程度。TF-IDF实际上是TF和IDF的乘积，TF（词频）表示某个词在文档中出现的频率，IDF（逆文档频率）表示一个词的普遍重要性。通过这种方法，可以减少常见词对文本表示的影响，突出重要词的作用。

4）. 词嵌入（Word Embedding）

词嵌入是目前最流行的词向量表示方法，它通过训练神经网络来捕捉词与词之间的语义关系。常见的词嵌入模型有Word2Vec、GloVe和FastText等。

• Word2Vec：包括CBOW（连续词袋模型）和Skip-gram两种架构，通过预测上下文或目标词来训练模型，从而学习到词的向量表示。
• GloVe（Global Vectors for Word
  Representation）：结合了全局的词汇共现统计信息和局部上下文窗口方法，有效地捕获了语义信息。
• FastText：在Word2Vec的基础上加入了子词信息（如n-gram特征），使得模型能够处理未登录词（OOV）问题，并且训练速度更快。

词嵌入方法将词表示为连续的、低维的向量，这些向量能够捕捉到词之间的语义和语法关系，使得计算机能够更好地理解和处理自然语言。

4.TF-IDF与词袋模型的结合

上述4种是词向量常见的转换方式，当然这里我们主要介绍TF-IDF与词袋模型结合的转换方法。
在实际应用中，TF-IDF经常被用作词袋模型中单词权重的计算方法。具体来说，我们首先将文本转换为词袋模型表示（即词频向量），然后使用TF-IDF方法计算每个单词的权重，并用这些权重替换原始的词频值，从而得到一个加权后的词袋模型表示。
这种加权后的词袋模型表示不仅考虑了单词在文档中的出现次数，还考虑了单词在整个语料库中的分布情况，因此能够更准确地反映单词对于文档的重要性。这种表示方法广泛用于文本分类、信息检索、文本相似度计算等任务中。

二、代码实现

为了更加清楚的为大家解释TF-IDF与词袋模型的结合，这里我们提供了一个案例为大家展示，本代码主要目的是训练某商品用户评价，以达到检测评价属于好评和差评的分类。

1.数据读取

import pandas as pd

cp_content = pd.read_table(r".\差评.txt")
hp_content = pd.read_table(r".\好评.txt")

• 读取数据：这里我们提前对商品评价进行处理，形成对应好评与差评数据，然后读取数据。

2.数据分词

将数据进行分词，以便后期对数据进行一系列操作处理。

import jieba

cp_segments = []
contents = cp_content.content.values.tolist() 
for content in contents:
    results = jieba.lcut(content)
    if len(results) > 1:  # 当分词后，评论结果只有一个内容
        cp_segments.append(results)

cp_fc_results = pd.DataFrame({'content': cp_segments})
cp_fc_results.to_excel('cp_fc_results.xlsx', index=False)


hp_segments = []
contents = hp_content.content.values.tolist()
for content in contents:
    results = jieba.lcut(content)
    if len(results) > 1:
        hp_segments.append(results)

hp_fc_results = pd.DataFrame({'content': hp_segments})
hp_fc_results.to_excel('hp_fc_results.xlsx', index=False)

• 导入库：导入jieba库，提供一个简单、高效的中文分词解决方案。
• 转换数据格式：将content列数据取出并转换为list格式并存储在contents中，目的是分别jieba分词。（这里的content列是数据中自行定义）
• 分词：通过对contents遍历，然后对其结果进行分词，将分词结果大于1的内容存储在最开始建立的字典中。
• 数据存储：将字典转换为DataFrame模式，并定义标头为content，并创建一个excel文件来存储信息。
  如下图：
  
• 好评数据处理
  ：对好评数据进行相应的数据处理，然后存储到对应的excel文件中。

3.去停用词

通过去停用词，来减小不必要词语对最终训练的影响，同时也能节省大量资源和减小损耗。

stopwords = pd.read_csv(r".\StopwordsCN.txt", encoding='utf-8', engine='python', index_col=False)


# 定义去除停用词函数
def drop_stopwords(contents, stopwords):
    segments_clean = []
    for content in contents:
        line_clean = []
        for word in content:
            if word in stopwords:
                continue
            line_clean.append(word)
        segments_clean.append(line_clean)
    return segments_clean


# 调用去停用词函数
contents = cp_fc_results.content.values.tolist()  # DataFrame格式转换为list格式
stopwords = stopwords.stopword.values.tolist()
cp_fc_contents_clean_s = drop_stopwords(contents, stopwords)

contents = hp_fc_results.content.values.tolist()
hp_fc_contents_clean_s = drop_stopwords(contents, stopwords)

• 导入停用词：导入提前准备好的停用词库。
• 定义函数：定义去除停用词函数，方便后面直接运用。
• 调用函数：转换格式，然后将评论里面含有停用词的部分全部去除。

4.添加数字标签

cp_train = pd.DataFrame({'segments_clean': cp_fc_contents_clean_s, 'label': 1})
hp_train = pd.DataFrame({'segments_clean': hp_fc_contents_clean_s, 'label': 0})
pj_train = pd.concat([cp_train, hp_train])
pj_train.to_excel('pj_train.xlsx', index=False)

• 添加标签：对差评和好评进行标签，并进行格式转换。
• 数据存储：将标签好的数据存储在新的文件中，并对其进行excel转换。

5.数据切分

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test=(
    train_test_split(pj_train['segments_clean'].values,pj_train['label'].values,random_state=0))

• 数据切分：把数据切分为训练集与测试集，并固定随机种子，以便结果具有可重复性。

6.词向量转换

words = [] # 转换为词向量CountVectorizer所能识别的列表
for line_index in range(len(x_train)):
    # a = x_train[line_index]
    words.append(' '.join(x_train[line_index]))
# print(words)

# 导入词向量转换库
from sklearn.feature_extraction.text import CountVectorizer

vec = CountVectorizer(max_features=4000,lowercase=False,ngram_range=(1,1))
"""只在训练数据上拟合一次 """
vec.fit(words)

• 词向量转换：对训练集数据进行词向量转换，将人类语言中的词汇转换成计算机可以直接处理的数值形式。
• lowercase参数功能：把所有的词是是否转换为小写。
• max_features：只提取前4000个词作为词库。

7.导入朴素贝叶斯

from sklearn.naive_bayes import MultinomialNB
classifier = MultinomialNB(alpha=0.1)
classifier.fit(vec.transform(words), y_train) # 训练分类器
a = vec.transform(words)
train_pr = classifier.predict(a)

from sklearn import metrics
print(metrics.classification_report(y_train, train_pr))

• 训练数据：导入朴素贝叶斯，初始化并训练多项式朴素贝叶斯分类器，对训练集数据进行训练并预测。
• 绘制混淆矩阵：对预测结果进行绘制，显示召回率、F-1值等的结果。

8.测试集分析

test_words = []
for line_index in range(len(x_test)):
    test_words.append(' '.join(x_test[line_index]))
b = vec.transform(test_words)
test_pr = classifier.predict(vec.transform(test_words))
print(metrics.classification_report(y_test, test_pr))

• 测试集f分析：对测试集进行相应的词向量转换操作，然后进行训练与预测，并打印混淆矩阵的结果。

9.模型测试

s_segments = []
s = '这玩意真好，我很喜欢'
results = jieba.lcut(s)
# if len(results) > 1:
s_segments.append(results)
s_fc_contents_clean_s = drop_stopwords(s_segments, stopwords)
s_fc_contents_clean_s = sum(s_fc_contents_clean_s, [])
s_words = []
s_words.append(' '.join(s_fc_contents_clean_s))
print(s_words)

c = vec.transform(s_words)
s_pr = classifier.predict(vec.transform(s_words))
print("预测结果:",s_pr)

• 数据导入：模拟评论，对其进行分词与词向量转换，通过测试来验证评论的标签类。
  

三、总结

词向量转换在自然语言处理领域有着广泛的应用，包括但不限于：

• 文本分类：通过词向量表示文本，然后使用分类算法对文本进行分类。
• 情感分析：利用词向量捕捉文本中的情感信息，对文本进行情感倾向的判断。
• 机器翻译：在机器翻译中，词向量可以帮助模型理解源语言和目标语言之间的词汇对应关系。
• 信息检索：通过计算查询词和文档词向量之间的相似度，实现相关文档的检索。

总之，词向量转换是自然语言处理中的一个重要技术，它为许多NLP任务提供了有力的支持。随着技术的不断发展，词向量转换的方法和模型也在不断更新和完善。