使用GloVe训练中文词向量

WarmOrange0

已于 2023-10-18 02:06:30 修改

阅读量2.4k

点赞数 2

分类专栏：自然语言处理文章标签：自然语言处理

于 2022-09-04 11:07:30 首次发布

本文链接：https://blog.csdn.net/m0_45176278/article/details/126686429

版权

自然语言处理专栏收录该内容

4 篇文章

订阅专栏

本文档详细介绍了如何准备中文语料库，下载并解压GloVe开源代码，将语料库文件移动到相应目录，修改训练参数，并执行训练脚本进行词嵌入训练。训练完成后，会得到可用于特定场景的词向量文件vectors.txt。需要注意的是，训练过程中可能会遇到警告，但不影响最终结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备中文语料库

要针对自己的情景，训练适合自己的词嵌入，所以要自己准备一个语料库。

或者使用网上提供的语料库：中文语料库
在这里插入图片描述

下载源码

Glove开源代码

解压源码

将源码包（GloVe-master.zip）和语料库文件（corpus.txt）传到 Linux 中

yum install lrzsz -y
rz

解压源码包

yum install unzip -y
unzip GloVe-master.zip

将语料库文件移动到 GloVe-master 目录下

mv corpus.txt GloVe-master/

修改训练参数

（1）进入 GloVe-master 目录

cd GloVe-master

（2）修改demo.sh

vim demo.sh

注释或删除以下代码
在这里插入图片描述

修改参数设置

# 已准备的语料库文件
CORPUS=corpus.txt
VOCAB_FILE=vocab.txt
COOCCURRENCE_FILE=cooccurrence.bin
COOCCURRENCE_SHUF_FILE=cooccurrence.shuf.bin
BUILDDIR=build
SAVE_FILE=vectors

（3）保存

:wq

执行demo.sh

make
bash demo.sh

备注：中间会报很多警告，不用管

训练结果

训练后会得到 vectors.txt，打开后在第一行加上vocab_size vector_size，这样才能用word2vec的load函数加载成功。
vocab_size 和 vector_size可在训练时看到：
在这里插入图片描述

vectors.txt 文件的样子如下：

在这里插入图片描述