基于gensim实现word2vec模型(附案例实战)

目录

什么是word2vec?

Word2Vec的原理 

gensim实现word2vec模型(实战)


什么是word2vec?

Word2Vec是google在2013年推出的一个NLP工具,它的特点是能够将单词转化为向量来表示,这样词与词之间就可以定量的去度量他们之间的关系,挖掘词之间的联系。用词向量来表示词并不是Word2Vec的首创,在很久之前就出现了。最早的词向量采用One-Hot编码,又称为一位有效编码,每个词向量维度大小为整个词汇表的大小,对于每个具体的词汇表中的词,将对应的位置置为1。比如我们有下面的5个词组成的词汇表:

采用One-Hot编码方式来表示词向量非常简单,但缺点也是显而易见的,一方面我们实际使用的词汇表很大,经常是百万级以上,这么高维的数据处理起来会消耗大量的计算资源与时间。另一方面,One-Hot编码中所有词向量之间彼此正交,没有体现词与词之间的相似关系。

Distributed representation可以解决One-Hot编码存在的问题,它的思路是通过训练,将原来One-Hot编码的每个词都映射到一个较短的词向量上来,而这个较短的词向量的维度可以由我们自己在训练时根据任务需要来自己指定。

下图是采用Distributed representation的一个例子,我们将词汇表里的词用"Royalty","Masculinity", "Femininity"和"Age"4个维度来表示,King这个词对应的词向量可能是(0.99,0.99,0.05,0.7)。当然在实际情况中,我们并不能对词向量的每个维度做一个很好的解释。

Word2Vec的原理 

Word2Vec 的训练模型本质上是只具有一个隐含层的神经元网络(如下图)。

 它的输入是采用One-Hot编码的词汇表向量,它的输出也是One-Hot编码的词汇表向量。使用所有的样本,训练这个神经元网络,等到收敛之后,从输入层到隐含层的那些权重,便是每一个词的采用Distributed Representation的词向量。比如,上图中单词的Word embedding后的向量便是矩阵 Wv x N 的第i行的转置。这样我们就把原本维数为V的词向量变成了维数为N的词向量(N远小于V),并且词向量间保留了一定的相关关系。

gensim实现word2vec模型(实战)

本次实战案例选取的数据集是四大名著中的三国演义。

首先使用jieba进行中文分词,

import jieba
import re
import warnings
warnings.filterwarnings('ignore')

with open("sanguo.txt", 'r',encoding='utf-8')as f: # 读入文本
    lines = []
    for line in f: #分别对每段分词
        temp = jieba.lcut(line)  #结巴分词 精确模式
        words = []
        for i in temp:
            #过滤掉所有的标点符号
            i = re.sub("[\s+\.\!\/_,$%^*(+\"\'””《》]+|[+——!,。?、~@#¥%……&*():;‘]+", "", i)
            if len(i) > 0:
                words.append(i)
        if len(words) > 0:
            lines.append(words)
print(lines[0:5])#预览前5行分词结果

分词之后使用gensim库中的word2vec构建模型,

from gensim.models import Word2Vec
# 调用Word2Vec训练 参数:size: 词向量维度;window: 上下文的宽度,min_count为考虑计算的单词的最低词频阈值
model = Word2Vec(lines,vector_size = 20, window = 2 , min_count = 3, epochs=7, negative=10,sg=1)
print("孔明的词向量:\n",model.wv.get_vector('孔明'))
print("\n和孔明相关性最高的前20个词语:")
model.wv.most_similar('孔明', topn = 20)# 与孔明最相关的前20个词语

 从结果中我们看出,与孔明相关性最高的是玄德、云长、孟获,也符合小说中的角色关系。

接着我们将模型可视化,

import numpy as np
from sklearn.decomposition import PCA
# 将词向量投影到二维空间
rawWordVec = []
word2ind = {}
for i, w in enumerate(model.wv.index_to_key):
    rawWordVec.append(model.wv[w]) # 词向量
    word2ind[w] = i # {词语:序号}
rawWordVec = np.array(rawWordVec)
X_reduced = PCA(n_components=2).fit_transform(rawWordVec)  # PCA降2维

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #解决中文显示
plt.rcParams['axes.unicode_minus'] = False   #解决符号无法显示
# 绘制星空图
# 绘制所有单词向量的二维空间投影
fig = plt.figure(figsize = (15, 10))
ax = fig.gca()
ax.set_facecolor('white')
ax.plot(X_reduced[:, 0], X_reduced[:, 1], '.', markersize = 1, alpha = 0.3, color = 'black')


# 绘制几个特殊单词的向量
words = ['孙权', '刘备', '曹操', '周瑜', '诸葛亮', '司马懿','汉献帝']

for w in words:
    if w in word2ind:
        ind = word2ind[w]
        xy = X_reduced[ind]
        plt.plot(xy[0], xy[1], '.', alpha =1, color = 'orange',markersize=10)
        plt.text(xy[0], xy[1], w, alpha = 1, color = 'red')

最后,我们还可以做个类比关系实验,

比如,孔明是玄德的军师,那么曹操的军师是谁呢?

# 玄德-孔明=?-曹操
words = model.wv.most_similar(positive=['玄德', '曹操'], negative=['孔明'])
words

 

我们可以看到 排在最前面的是司马懿,也对上了原小说关系。

曹操跟魏国的关系很近(虽然他不是开国皇帝),那么跟蜀国关系最近的谁呢?

# 曹操-魏=?-蜀
words = model.wv.most_similar(positive=['曹操', '蜀'], negative=['魏'])
words

 

 我们看到排在最前面的是玄德,也应证了原小说。

  • 20
    点赞
  • 59
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 16
    评论
首先,需要安装gensim库。可以使用pip命令进行安装: ``` pip install gensim ``` 然后,我们需要准备一个语料库(corpus)作为训练数据。语料库可以是一个文本文件,每一行是一个句子,或者是一个已经分好词的列表。 下面是一个使用gensim实现word2vec的示例代码: ```python from gensim.models import Word2Vec # 读取语料库 sentences = [] with open('corpus.txt', 'r', encoding='utf-8') as f: for line in f: words = line.strip().split() sentences.append(words) # 定义模型 model = Word2Vec(sentences, size=100, window=5, min_count=5, workers=4, sg=0) # 保存模型 model.save('word2vec.model') # 加载模型 model = Word2Vec.load('word2vec.model') # 使用模型计算相似度 similarity = model.wv.similarity('word1', 'word2') print('Similarity between word1 and word2:', similarity) # 找出与指定词语最相似的词语 most_similar = model.wv.most_similar('word') print('Most similar words:', most_similar) ``` 在这段代码中,我们首先读取语料库,然后使用Word2Vec类定义模型。其中,size表示词向量的维度,window表示词向量上下文的窗口大小,min_count表示出现次数小于min_count的词语将被忽略,workers表示训练时使用的线程数,sg表示使用的模型类型,sg=0表示使用CBOW模型,sg=1表示使用Skip-gram模型。 然后,我们可以使用save方法保存模型,使用load方法加载模型。最后,使用wv.similarity方法计算两个词语之间的相似度,使用wv.most_similar方法找出与指定词语最相似的词语。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾派森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值