中文维基百科语料库 & 训练好的Word2vec模型

最新推荐文章于 2024-06-30 19:29:54 发布
最新推荐文章于 2024-06-30 19:29:54 发布
阅读量5.6k 收藏 67
点赞数 17
文章标签： python 自然语言处理 word2vec 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52492249/article/details/124759261
版权

选取wiki中文语料，并使用python完成Word2vec模型，文件共8.33G，根据需要下载，文件较大都进行了压缩，使用时根据需要解压

原始语料库：zhwiki-latest-pages-articles.xml
XML的Wiki数据转换为text格式：wiki.zh.txt
中文繁体转换为简体文件：wiki.zh.simp.txt
jieba分词后：wiki.zh.simp.seg.txt
Word2vec模型（4个文件）：wiki.zh.text.model、wiki.zh.text.model.syn1neg、wiki.zh.text.model.wv.vectors、wiki.zh.text.vector（词向量）

以上所有文件均放入百度网盘：

链接：https://pan.baidu.com/s/1kRShqmPp1dq8wwNfLIlW4g 
提取码：rtyu

本尊是喵
关注
  • 17
    点赞
  • 踩
  • 67
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
[NLP]基于维基百科中文语料库的Word2Vec模型训练
qq_41595507的博客
12-05 1201
说明：该博客代码参考于 参考博客：使用中文维基百科语料库+opencc+jieba+gensim训练一个word2vec模型 参考博客：使用中文维基百科训练word2vec模型 零、 模型训练环境 Windows10-X64 、 python2.7 、 python3.6 pip install jieba pip install gensim 一、下载维基百科语料库 数据下载地址 该博客使...
中文维基语料Word2Vec训练模型
07-25
原文件为zhwiki-latest-pages-articles.xml.bz2，大小为1.7G，最新时间为19年7月下载，转为txt文本，繁转简，分词，gensim训练后的model文件
【NLP】维基百科中文数据训练word2vec词向量模型——基于gensim库
Daycym的博客
04-03 7217
前言   本篇主要是基于gensim 库中的 Word2Vec 模型，使用维基百科中文数据训练word2vec 词向量模型，大体步骤如下： 数据预处理 模型的训练 模型的测试 准备条件： Windows10 64位 Python3.6，并安装 gensim 库：pip install gensim 数据集：下载地址 注意： 下载 zhwiki-latest-pages-article...
Word2Vec的使用，一些思考，含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型
最新发布
hahaha_1112的博客
06-30 1831
Word2Vec的使用，含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型
NLP 利器 Gensim 库的使用之 Word2Vec 模型案例演示（基于 word2vec-google-news-300 预训练模型，附下载）
热门推荐
AItrust的博客
05-30 1万+
Gensim 库的使用之 Word2Vec 模型案例演示 要见识一下 Word2Vec 模型可以做什么，那么最好的方法就是直接下载一个预训练模型，然后尝试用一下看看效果。 我们在这里获取一个在 Google News 数据集上训练完成的 Word2Vec 模型，覆盖了大约 300 万的词汇和短语。 这样一个模型需要几个小时来进行训练，但是既然 Google 已经将其公开，那直接花几分钟下载下来就能用了。 ！！！注意：该模型大小约 2GB，而且需要科学的方法才能下载！实在无法解决网络问题的朋友，可以用我提供的
训练好的word2vec模型（中文词向量）
weixin_52492249的博客
05-13 2170
百度百科800w+条，20G+ 搜狐新闻400w+条，12G+ 小说：90G左右 模型参数： window=5 min_count=5 size=64 ps：其它参数见gensim库，执行代码为：Word2Vec(sentence, window=5, min_count=5,size=64, workers=4)
word2vec_wiki.model.rar
05-19
NLP之word2vec：利用 Wikipedia Text(中文维基百科)语料+Word2vec工具来训练简体中文词向量 word2vec_wiki.model
Google英文word2vec预训练模型 word2vec-GoogleNews-vectors
呆萌的代Ma
04-11 5958
下载地址Github：https://github.com/mmihaltz/word2vec-GoogleNews-vectors 下载地址Google drive：https://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit
wikipedia 训练简体中文word2vec模型-训练结果.rar
12-31
wikipedia 训练简体中文得到的word2vec模型，课程作业，仅供大家参考哈 Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。
word2vec-词向量模型-维基百科语料库
03-18
“词向量模型-维基百科语料库-1”可能是训练好的模型文件或者是训练过程中的中间结果，这可能包含了使用维基百科中文数据训练出的word2vec模型的参数，或者是一部分预处理后的语料数据。 **详细知识点：** 1. **...
英文维基百科语料库txt（9）
03-10
标题中的“英文维基百科语料库txt（9）”指的是一个包含多个英文维基百科文本数据的压缩包，这些数据经过一系列预处理步骤，包括分词、去停用词、转换为小写、词干提取和词形还原，使得它们更适合用于自然语言处理...
Python-按word2vec格式存储的BERT预训练模型
08-10
按word2vec格式存储的BERT预训练模型
英文word2vec模型训练语料
01-26
本语料适合于使用word2vec英文训练的语料，共98M，包括常用的英文词汇，训练后效果不错。
word2vec中文词向量.zip
12-03
使用gensim对维基百科作为预训练语料（约1.6G语料），生成词汇量约13000个词汇，维度为300，文件大小为45.6MB。使用方法，参考博客：https://blog.csdn.net/qq_36426650/article/details/87738919
中文分词获取和Word2Vec模型构建.zip
11-25
中文分词获取和Word2Vec模型构建.zip
train_word2vec_model
04-22
word2vec train model
基于 word2vec 使用 wiki 中文语料库实现词向量训练模型.zip
01-27
在这个“基于 word2vec 使用 wiki 中文语料库实现词向量训练模型”的项目中，我们将深入探讨如何利用Word2vec和中文维基百科语料库构建词向量模型。 1. **Word2vec简介**： - **CBOW模型**：该模型预测当前词，...
中文wiki语料word2vec训练模型（win7+Anaconda3+Python3.5）
kaoyala的博客
01-17 3175
1.环境、操作平台  Windows7 64位，Anaconda3,Python3.5；2.下载wiki中文语料（由于语料较大建议使用迅雷下载）  下载地址为：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz23. 安装opencc用于中文的简繁替换  方法一： 安装exe的版本，到htt
中文的word2vec词向量
05-05
个人训练的一套word2vec中文词向量。维度为200维。python装gensim后可以直接用！
如何用python训练语料库_使用中文维基百科语料库训练一个word2vec模型并使用说明...
05-23
要训练一个语料库，我们需要首先准备好语料库数据。在这里，我们将使用中文维基百科作为我们的语料库。以下是训练word2vec模型的步骤： 1. 下载维基百科语料库 中文维基百科提供了一个XML格式的数据库备份，可以从这里下载：https://dumps.wikimedia.org/zhwiki/latest/。请注意，这个文件很大，大约有5GB左右。下载后，您需要解压缩并将XML文件存储在本地文件夹中。 2. 清理维基百科语料库 由于维基百科包含大量的HTML标记，我们需要对其进行清理。我们可以使用Python中的BeautifulSoup库来进行清理。以下是一些示例代码： ```python from bs4 import BeautifulSoup import codecs # 读取维基百科XML文件 wiki_file = codecs.open("zhwiki-latest-pages-articles.xml", 'r', 'utf-8') # 创建BeautifulSoup对象并查找所有的text标签 soup = BeautifulSoup(wiki_file, 'html.parser') docs = soup.find_all('text') # 清理标点符号和数字 import re def clean_text(text): # 去除标点符号和数字 text = re.sub(r'[^\u4e00-\u9fa5]', '', text) return text # 将所有文档添加到列表中 cleaned_docs = [] for doc in docs: cleaned_doc = clean_text(doc.get_text()) cleaned_docs.append(cleaned_doc) ``` 3. 分词 接下来，我们将对每个文档进行分词。我们可以使用jieba库来进行中文分词。以下是一个示例代码： ```python import jieba # 分词函数 def tokenize(text): words = jieba.cut(text) return [word for word in words] # 将每个文档分词并添加到列表中 tokenized_docs = [] for doc in cleaned_docs: tokenized_doc = tokenize(doc) tokenized_docs.append(tokenized_doc) ``` 4. 训练Word2Vec模型 我们现在已经准备好训练word2vec模型了。我们可以使用gensim库来进行训练。以下是一个示例代码： ```python from gensim.models import Word2Vec # 训练Word2Vec模型 model = Word2Vec(tokenized_docs, size=300, window=5, min_count=5, workers=4) # 保存模型 model.save("zhwiki_word2vec.model") ``` 在上面的代码中，我们指定了一些参数来训练模型。例如，我们将词向量的维度设置为300，窗口大小设置为5，最小计数设置为5等等。您可以根据您的需要进行设置。 5. 使用Word2Vec模型 现在我们已经训练好了Word2Vec模型，我们可以使用它来查找相似的词语或计算词语之间的距离。以下是一个示例代码： ```python # 加载模型 model = Word2Vec.load("zhwiki_word2vec.model") # 查找相似的词语 similar_words = model.wv.most_similar("中国") print(similar_words) # 计算词语之间的距离 distance = model.wv.distance("北京", "上海") print(distance) ``` 在上面的代码中，我们加载了训练的模型，并使用它来查找与“中国”最相似的词语，以及计算“北京”和“上海”之间的距离。 希望这个实践指南对您有所帮助！
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值