基于word2vec使用wiki中文语料库实现词向量训练模型--2019最新

最新推荐文章于 2023-05-21 12:29:22 发布
最新推荐文章于 2023-05-21 12:29:22 发布
阅读量3.2k 收藏 24
点赞数 3
分类专栏： NLP自然语言处理 文章标签： word2vec gensim wiki中文语料库 词向量模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Pit3369/article/details/95454354
版权
本文档详细介绍了如何从wiki中文语料库获取数据，将其从xml转为txt，处理繁体转简体，进行分词，最后使用word2vec训练词向量模型，并检测模型效果。过程中遇到了编码错误的问题并给出了解决方案。
摘要由CSDN通过智能技术生成

目录

一、数据获取

二、将xml格式数据转为txt

三、繁体转为简体

方法1---自己使用opencc库手动了1个转换程序，pip install opencc进行安装

方法2---网上有一个exe应用程序进行转换，详情见：https://bintray.com/package/files/byvoid/opencc/OpenCC  

四、分词

五、Word2Vec模型训练

六、Word2Vec模型检测

一、数据获取

使用的语料库是wiki百科的中文语料库

下载地址：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2  

上述地址下载较慢，我分享一个我已经下载好的文件（截止2019年7月11日）

下载地址：https://pan.baidu.com/s/1SAXNFcr4hQSZvcMi914_kQ ， 提取码：kt20

二、将xml格式数据转为txt

使用了gensim库中的维基百科处理类WikiCorpus，该类中的get_texts方法原文件中的文章转化为一个数组，其中每一个元素对应着原文件中的一篇文章。然后通过for循环便可以将其中的每一篇文章读出，然后进行保存。

1_process.py

 当时的转换过程，大概需要了30分钟吧！

三、繁体转为简体

由于维基内有些内容是繁体内容，需要进行繁体--简体转换。

方法1---自己使用opencc库手动了1个转换程序，

最低0.47元/天 解锁文章
锅巴QAQ
关注
专栏目录
wiki.zh.text.model 、wiki.zh.text.vector等四个文件
08-31
基于中文维基百科语料训练出的wiki.zh.text.model，压缩包中包含4个模型文件，提供百度网盘链接，下载即可。包括 wiki.zh.text.model 、wiki.zh.text.vector、wiki.zh.text.model.wv.vectors.npy、wiki.zh.text.model.trainables.syn1neg.npy
构建Wiki中文语料词向量模型(python3)
weixin_73004416的博客
01-22 1412
本实例主要介绍的是选取wiki中文语料，并使用python3完成Word2vec模型构建的实践过程，不包含原理部分，旨在一步一步的了解自然语言处理的基本方法和步骤。文章主要包含了开发环境准备、数据的获取、数据的预处理、模型构建和模型测试四大内容，对应的是实现模型构建的五个步骤。
wiki中文语料的word2vec模型构建
qq_44011202的博客
03-08 435
wiki中文语料的word2vec模型构建 遇到的第一个问题： 按照上图操作发现 原因：可能是并没有运行opencc（不知道如何描述） 解决方法：找到解压的opencc文件夹，将要转换的文件放入。 之后在上方输入cmd进入dos窗口 在输入opencc -i wiki.zh.txt -o wiki.zh.simp.txt -c t2s.json 就可得到文件 再将该文件粘贴到wiki中文语料的word2vec模型构建文件夹下 之后按博客继续，可以看到繁体字转化后简体字 Jieba分词： 这个jieba分词完
基于WIKI中文语料·Word2Vec模型训练·Python
Finoyunle的博客
02-20 1306
在做文本情感分类的项目，研究到Word2Vec模型了。 自己来实践一下，网上大多数代码经过时间的流逝，多多少少都出了点小问题，为了方便自己之后的学术垃圾的制造，把自己跑出来的，修改过的代码和方法记录一下。 1.环境 1.1环境配置 Python3.9，Pycharm2021 1.2需要的库（搭建的虚拟环境，直接通过File->Settings引入） import logging from gensim.corpora import WikiCorpus import jieba impo
利用Python构建Wiki中文语料词向量模型试验
Agony2000的博客
05-21 331
本实例主要介绍的是选取wiki中文语料，并使用python完成Word2vec模型构建的实践过程，不包含原理部分，旨在一步一步的了解自然语言处理的基本方法和步骤。文章主要包含了开发环境准备、数据的获取、数据的预处理、模型构建和模型测试四大内容，对应的是实现模型构建的五个步骤。
基于 word2vec 使用 wiki 中文语料库实现词向量训练模型.zip
01-27
在这个“基于 word2vec 使用 wiki 中文语料库实现词向量训练模型”的项目中，我们将深入探讨如何利用Word2vec和中文维基百科语料库构建词向量模型。 1. **Word2vec简介**： - **CBOW模型**：该模型预测当前词，...
基于深度学习的Wiki中文语料词word2vec向量模型.zip
06-29
本次设计选取wiki中文语料，并使用python完成Word2vec模型构建的实践过程，不包含原理部分，旨在一步一步的了解自然语言处理的基本方法和步骤。文章主要包含了开发环境准备、数据的获取、数据的预处理、模型构建和...
词向量-使用Python构建Wiki中文语料词向量模型示例.zip
最新发布
04-28
Python中，我们常用jieba库进行中文分词，Gensim库则提供了词向量模型的实现，比如Word2Vec和FastText。Word2Vec有两种训练方法：CBOW（Continuous Bag of Words）和Skip-Gram。CBOW通过上下文预测中心词，而Skip-...
word2vec训练中文语料1
08-03
Word2Vec 训练中文语料库 Word2Vec 是一种popular 的自然语言处理工具，用于训练词向量模型。下面将对 Word2Vec 训练中文语料库的过程进行详细解释。 准备数据 首先，我们需要准备一个中文语料库。我们可以使用...
土耳其语-Word2Vec：土耳其语的预训练Word2Vec模型
02-03
土耳其语预训练Word2Vec模型 （下面是土耳其语版本。/Türkçeiçinaşağıyabakın。） 本教程介绍了如何从Wikipedia转储中为土耳其语训练word2vec模型。 此代码使用库以Python 3编写。 土耳其语是一种凝集性语言...
维基百科中文语料word2vec训练后结果
06-03
中文维基百科语料库，将其转换为文本文件后，进行繁体字转换为简体字，字符集转换，分词，然后训练得到模型以及向量。由于文件上传的大小限制是60MB，而训练后的所有文件大小有1G以上，所以这里只提供了下载链接，地址在网盘中。使用python中的gensim包进行训练得到的，运行时间较长，纯粹的维基百科中文语料训练后的结果，拿去可以直接使用。
『词向量』用Word2Vec训练中文词向量（二）—— 采用维基百科语料库
酒狂的博客
03-14 4615
本文是在『词向量』用Word2Vec训练中文词向量（一）—— 采用搜狗新闻数据集 的基础上，将搜狗与维基两个语料库合并，进而训练出较好的词向量模型。
opencc对文档的繁体中文转换为简体
weixin_44953902的博客
08-14 575
opencc对文档的繁体中文转换为简体 1.数据资源下载 维基百科的数据链接：https://dumps.wikimedia.org/zhwiki/ 下载的类型：.xml.bz2后缀的文件，文件大小可自行选择。 例如： 2.opencc的使用 将下载好的.xml.bz2文件转换为.txt文件 运行pocess.py脚本文件，将下载好的.xml.bz2文件转换为.txt文件。需要脚本文件可直接联系...
维基百科中文语料库训练word2vec模型和使用总结
TimEcho的博客
08-07 5109
首先列明参考博文地址： 使用中文维基百科语料库训练一个word2vec模型并使用说明 windows使用opencc中文简体和繁体互转 使用中文维基百科训练word2vec模型 一、下载维基百科中文语料库 下载地址：https://dumps.wikimedia.org/zhwiki/ 这里我选择的是20200801，下载第一个即可 二、语料库处理 1、使用WikiExtractor提取语料库文章 WikiExtractor项目git地址 直接根据说明安装，这里我直接pip WikiExtractor是
【用户行为分析】 用wiki百科中文语料训练word2vec模型
热门推荐
雷雨中的双桅船
11-06 1万+
前言       最近在调研基于内容的用户行为分析，在过程中发现了word2vec这个很有帮助的算法。word2vec，顾名思义是将词语（word）转化为向量（vector）的的工具。产自Google，于2013年开源。在向量模型中，我们可以做基于相似度（向量距离/夹角）的运算。在模型中向量的相似度即对应词之间语义的相似度，简单来说，就是两个词在同一个语义场景出现的概率。比如， 我们向模型输入
基于深度学习的Wiki中文语料词word2vec向量模型
毕业作品网站
06-29 1327
本实例主要介绍的是选取wiki中文语料，并使用python完成Word2vec模型构建的实践过程，不包含原理部分，旨在一步一步的了解自然语言处理的基本方法和步骤。文章主要包含了开发环境准备、数据的获取、数据的预处理、模型构建和模型测试四大内容，对应的是实现模型构建的五个步骤。
词向量可视化，Embedding projector实现——基于维基中文语料库
weixin_44081621的博客
01-11 5047
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 本文词向量...
文本分类实战（一）—— word2vec预训练词向量
weixin_30925411的博客
01-02 1260
1 大纲概述 　　文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： 　　word2vec预训练词向量 　　textCNN 模型 　　charCNN 模型 　　Bi-LSTM 模型 　　Bi-LSTM + Attention 模型 　　RCNN 模型 　　Adversarial LS...
提升词向量准确性的word2vec-ACV模型: 解决OOV与多义性问题
word2vec是一种广泛使用的深度学习模型，用于生成词嵌入，但其在处理多义词和集外词（OOV, Out-of-Vocabulary，指不在训练词汇表中的新词）时存在挑战，因为word2vec模型生成的词向量往往缺乏语境依赖性和对新词的...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值