训练GloVe中文词向量

最新推荐文章于 2024-08-04 07:45:00 发布
最新推荐文章于 2024-08-04 07:45:00 发布
阅读量1.5w 收藏 37
点赞数 5
分类专栏： 深度学习 中文自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37947156/article/details/83145778
版权

准备语料

准备好自己的语料，保存为txt，每行一个句子或一段话，注意要分好词。

准备源码在这里插入图片描述

从GitHub下载代码，https://github.com/stanfordnlp/GloVe
将语料corpus.txt放入到Glove的主文件夹下。

修改bash

打开demo.sh，修改相应的内容

因为demo默认是下载网上的语料来训练的，因此如果要训练自己的语料，需要注释掉
在这里插入图片描述

修改参数设置，将CORPUS设置成语料的名字

在这里插入图片描述
执行bash文件

进入到主文件夹下

make
在这里插入图片描述

bash demo.sh
在这里插入图片描述

注意，如果训练数据较大，则训练时间较长，那么建议使用nohup来运行程序

1
nohup bash demo.sh >output.txt 2>&1 &
坐等训练，最后会得到vectors.txt 以及其他的相应的文件。如果要用gensim的word2ve load进来，那么需要在vectors.txt的第一行加上vacob_size vector_size，第一个数指明一共有多少个向量，第二个数指明每个向量有多少维。

参考

https://www.cnblogs.com/echo-cheng/p/8561171.html

sliderSun
关注
专栏目录
glove中文词向量_GloVe
weixin_29083373的博客
11-30 1395
做自然语言处理的时候很多时候会用的Word Embedding，训练词向量的方法主要有两条路：一个是利用了全局特征的矩阵分解方法。例如基于SVD的LSA算法，该方法对term-document矩阵（矩阵的每个元素为tf-idf）进行奇异值分解，从而得到term的向量表示和document的向量表示。此处使用的tf-idf主要还是term的全局统计特征。另一个方法是利用局部上下文的方法。例如word...
中文维基glove词向量（已训练）-part1
07-13
中文维基glove词向量（已训练）-part1，中文维基glove词向量（已训练）-part1
GloVe训练中文词向量
weixin_43819408的博客
02-03 1122
1.准备语料 准备好自己的语料。保存为txt格式，每行一个句子，分好词，并以空格进行分割（" “.join(seg1)) 2.代码 从GitHub下载代码斯坦福训练Glove 将corpus.txt放入GloVe的主文件下。 3.修改文件 （1）将上述demo.sh文件中的"make"下的内容注释掉（源码是下载text8语料文件） （2）修改下图中三个地方的内容（300，8）效果要好（据说） CORPUS=text8 要生成词向量的文本 VOCAB_FILE=vocab.txt 得到的词和词频 COOCC
词向量（Global Vectors for Word Representation，GloVe）
最新发布
weixin_43156294的博客
08-04 662
GloVe（Global Vectors for Word Representation）是一种用于获取词向量（Word Embedding）的模型。它结合了全局矩阵分解和局部上下文窗口方法的优点。通过在共现矩阵的基础上构建模型，学习词与词之间的语义关系，并将每个词表示为一个低维向量。GloVe由斯坦福大学和Google的研究人员在2014年提出。GloVe模型的核心思想是通过分析词与词之间的共现统计信息来生成词向量。
glove中文词向量
09-28
使用glove预训练词向量（1.6GB维基百科语料），维度为300，词汇量约13000，文件大小为41.2MB
中文维基glove词向量（已训练）-part2
07-13
中文维基glove词向量（已训练）-part2中文维基glove词向量（已训练）-part2
使用GloVe训练中文词向量
m0_45176278的博客
09-04 2101
使用GloVe训练中文词向量
glove预训练中文词向量
07-05
选取清洗分词后的wiki中文语料（约2.2G）训练，维度为300，解压后文件大小9.19 GB，可用于词嵌入模型学习。
Glove模型训练自己的中文数据集词向量详细步骤
ASS-ASH的博客
04-04 6001
首先，下载Glove项目资源： https://github.com/stanfordnlp/GloVe 注意1： 后续训练命令仅在服务器命令行界面有效，在本机命令行、anaconda prompt命令行、开发环境如vscode等的终端命令行均无效 将下载解压之后的glove文件夹通过xftp传到服务器上，存放于123文件夹中（自己随便命名的文件夹） 然后在xshell中进入相应文件夹主目录路径，如下所示，红色部分为输入命令，回车即可： (base) 123@ls-X10DAi:~...
glove中文词向量_【学习笔记】词表示的全局向量
weixin_42499790的博客
11-30 675
1.文章摘要GloVe是Global Vectors的简称。是一种分布式单词表示的模型。 该模型是一种用于获取单词向量表示的无监督学习算法。 这是通过将单词映射到有意义的空间来实现的，其中单词之间的距离与语义相似性有关。对来自语料库的汇总全局单词-单词共现统计信息进行训练，并且所得表示形式展示了单词向量空间的有趣线性子结构。 它是斯坦福大学的一个开源项目。作为用于单词表示的无监督学习的对数-双线性...
斯坦福glove预训练的词向量
11-26
预先训练的单词向量。 维基百科2014 + Gigaword 5（6B令牌，400K词汇，无章，50d，100d，200d和300d载体）：glove.6B.zip
Glove词向量 文本分类
12-22
文本建模，此项中的模型GLove, word2vec, 在文本分类实用重要的作用
Ubuntu下GloVe中文词向量模型训练
Totoro1745的博客
09-01 4342
开启美好的九月 最近在学习textCNN进行文本分类，然后随机生成向量构建embedding网络的分类效果不是很佳，便考虑训练Glove词向量来进行训练，整个过程还是有遇到一些问题，希望懂的旁友能来指点下~ 关于GloVe GloVe，全称是Global Vectors for Word Representation，是斯坦福大学提出的一种新的词矩阵生成的方法，综合运用词的全局统计信息和...
glove中文词向量_NLP中文文本分类任务的笔记（一）
weixin_33185844的博客
11-30 979
词向量的使用。 通用的词向量包含word2vec，glove，fasttext三种方式，通过n-gram以及COBW或者skip-gram的方式获取得到， 这边分享一个词向量的GitHub资Embedding/Chinese-Word-Vectors​github.comword2vec/fasttext基本训练步骤：step 1：准备词表，将词进行one-hot-encoding。step 2...
Glove模型训练词向量
jianghusanren3的博客
06-04 3546
参考： https://blog.csdn.net/u014665013/article/details/79642083
glove中文词向量_CS224N NLP with Deep Learning（三）：词向量之GloVe
weixin_39640265的博客
11-30 218
我们上节课介绍了Word2Vec，它浏览语料库（corpus）中的每个单词，并用它来预测它周围的单词（Skip-gram）或用它周围的单词来预测它（CBOW），再通过预测结果来更新词向量。那么也就是说Word2Vec根据每次捕获一个单词之间的共现（co-occurrence）信息，并以此更新词向量。例如，在浏览语料库时发现“deep”和“learning”共现了一次，然后我们通过计算更新这两个词的...
glove中文词向量_《GloVe:Global Vectors for Word Representation》学习
weixin_34802266的博客
11-30 574
1.概述自从2013年Mikolov提出了word2vec之后，无监督预训练的word embedding越来越火，很多学者都在研究如何获得更好的语义表达。于是，出现了同样是静态表示的Glove,动态表示的Elmo,Bert,Xlnet等。特别是bert,xlnet在NLP多项任务上大杀四方。同时，word embedding的研究倾向于复杂的模型，需要强大的计算能力，所以，Word embedd...
glove中文词向量_词嵌入表示-GloVe
weixin_30070663的博客
12-06 1000
写这篇文章的原因是今天突然发现昨天文章中提到的没有语料的那个提示，才想起来说的是GloVe，不知道下载了这个那个代码能不能跑起来，不过还是先把这个写下来吧，反正之前文本向量表示那块也没写过词嵌入的文章。估计github上那位也不会回答，只能一点点摸索了。重点还是放在层叠隐马的实体识别上。1. GloveGloVe（Global Vectors for Word Representation）全局词...
glove预训练词向量下载，保存为.vec文件
05-20
你可以在以下网站下载GloVe预训练词向量： 1. Stanford NLP Group：https://nlp.stanford.edu/projects/glove/ 2. GitHub：https://github.com/stanfordnlp/GloVe 选择下载你需要的词向量，比如说GloVe.6B，它包含了600000个词汇的向量，每个向量的维度为300。下载完成后，将解压后的文件保存为.vec格式即可。以下是一个示例代码： ``` python import urllib.request # 下载GloVe预训练词向量 url = 'http://nlp.stanford.edu/data/glove.6B.zip' urllib.request.urlretrieve(url, 'glove.6B.zip') # 解压文件 import zipfile with zipfile.ZipFile('glove.6B.zip', 'r') as zip_ref: zip_ref.extractall('glove.6B') # 将词向量保存为.vec文件 import os import numpy as np def save_word_vectors_to_file(file_path, word_vectors): with open(file_path, 'w', encoding='utf-8') as f_out: for word, vector in word_vectors.items(): vector_str = ' '.join([str(val) for val in vector]) f_out.write(f"{word} {vector_str}\n") def load_word_vectors_from_file(file_path): word_vectors = {} with open(file_path, 'r', encoding='utf-8') as f_in: for line in f_in: parts = line.strip().split() word = parts[0] vector = np.array([float(val) for val in parts[1:]]) word_vectors[word] = vector return word_vectors glove_file = 'glove.6B/glove.6B.300d.txt' word_vectors = load_word_vectors_from_file(glove_file) save_word_vectors_to_file('glove.6B/glove.6B.300d.vec', word_vectors) ``` 这个代码会从Stanford NLP Group的网站下载GloVe.6B预训练词向量，解压文件，然后保存为.vec格式。你可以更改文件路径和下载的词向量类型来适应你的需要。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值