word2vec训练中文模型的代码实现

最新推荐文章于 2024-03-19 10:37:02 发布
最新推荐文章于 2024-03-19 10:37:02 发布
阅读量1.5k 收藏 11
点赞数 2
文章标签： nlp 自然语言处理 python 算法
原文链接：https://github.com/NLP-LOVE/ML-NLP/blob/master/NLP/16.1%20Word%20Embedding/word2vec.ipynb
版权

word2vec训练中文模型

1.准备数据与预处理

首先需要一份比较大的中文语料数据，可以考虑中文的维基百科（也可以试试搜狗的新闻语料库）。

中文维基百科的打包文件地址为
链接: https://pan.baidu.com/s/1H-wuIve0d_fvczvy3EOKMQ 提取码: uqua

百度网盘加速下载地址：https://www.baiduwp.com/?m=index

中文维基百科的数据不是太大，xml的压缩文件大约1G左右。首先用处理这个XML压缩文件。

注意输入输出地址

import logging
import os.path
import sys
from gensim.corpora import WikiCorpus
if __name__ == '__main__':
    
    # 定义输入输出
    basename = "F:/temp/DL/"
    inp = basename+'zhwiki-latest-pages-articles.xml.bz2'
    outp = basename+'wiki.zh.text'
    
    program = os.path.basename(basename)  # 获得文件名
    logger = logging.getLogger(program)  # 创建一个logger
    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')  # 对日志的输出格式及方式做相关配置
    logging.root.setLevel(level=logging.INFO)  # 设置日志级别
    logger.info("running %s" % ' '.join(sys.argv))
    # check and process input arguments
    if len(sys.argv) < 3:
        print(globals()['__doc__'] % locals())
        sys.exit(1)
    
    space = " "
    i = 0
    output = open(outp, 'w',encoding='utf-8')
    wiki = WikiCorpus(inp, lemmatize=False, dictionary={})
    for text in wiki.get_texts():
        output.write(space.join(text) + "\n")
        i = i + 1
        if (i % 10000 == 0):
            logger.info("Saved " + str(i) + " articles")
    output.close()
    logger.info("Finished Saved " + str(i) + " articles")

2019-05-08 21:42:31,184: INFO: running c:\users\mantch\appdata\local\programs\python\python35\lib\site-packages\ipykernel_launcher.py -f C:\Users\mantch\AppData\Roaming\jupyter\runtime\kernel-30939db9-3a59-4a92-844c-704c6189dbef.json
2019-05-08 21:43:12,274: INFO: Saved 10000 articles
2019-05-08 21:43:45,223: INFO: Saved 20000 articles
2019-05-08 21:44:14,638: INFO: Saved 30000 articles
2019-05-08 21:44:44,601: INFO: Saved 40000 articles
2019-05-08 21:45:16,004: INFO: Saved 50000 articles
2019-05-08 21:45:47,421: INFO: Saved 60000 articles
2019-05-08 21:46:16,722: INFO: Saved 70000 articles
2019-05-08 21:46:46,733: INFO: Saved 80000 articles
2019-05-08 21:47:16,143: INFO: Saved 90000 articles
2019-05-08 21:47:47,533: INFO: Saved 100000 articles
2019-05-08 21:48:29,591: INFO: Saved 110000 articles
2019-05-08 21:49:04,530: INFO: Saved 120000 articles
2019-05-08 21:49:40,279: INFO: Saved 130000 articles
2019-05-08 21:50:15,592: INFO: Saved 140000 articles
2019-05-08 21:50:54,183: INFO: Saved 150000 articles
2019-05-08 21:51:31,123: INFO: Saved 160000 articles
2019-05-08 21:52:06,278: INFO: Saved 170000 articles
2019-05-08 21:52:43,157: INFO: Saved 180000 articles
2019-05-08 21:55:59,809: INFO: Saved 190000 articles
2019-05-08 21:57:01,859: INFO: Saved 200000 articles
2019-05-08 21:58:33,921: INFO: Saved 210000 articles
2019-05-08 21:59:26,744: INFO: Saved 220000 articles
2019-05-08 22:00:41,757: INFO: Saved 230000 articles
2019-05-08 22:01:36,532: INFO: Saved 240000 articles
2019-05-08 22:02:26,347: INFO: Saved 250000 articles
2019-05-08 22:03:08,634: INFO: Saved 260000 articles
2019-05-08 22:03:53,447: INFO: Saved 270000 articles
2019-05-08 22:04:37,136: INFO: Saved 280000 articles
2019-05-08 22:05:14,017: INFO: Saved 290000 articles
2019-05-08 22:06:01,296: INFO: Saved 300000 articles
2019-05-08 22:06:47,762: INFO: Saved 310000 articles
2019-05-08 22:07:39,714: INFO: Saved 320000 articles
2019-05-08 22:08:28,825: INFO: Saved 330000 articles
2019-05-08 22:09:11,412: INFO: finished iterating over Wikipedia corpus of 338005 documents with 77273203 positions (total 3288566 articles, 91445479 positions before pruning articles shorter than 50 words)
2019-05-08 22:09:11,555: INFO: Finished Saved 338005 articles

2.训练数据

Python的话可用jieba完成分词，生成分词文件wiki.zh.text.seg
接着用word2vec工具训练：

注意输入输出地址

import logging
import os.path
import sys
import multiprocessing
from gensim.corpora import WikiCorpus
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence

# 定义输入输出
basename = "F:/temp/DL/"
inp = basename+'wiki.zh.text'
outp1 = basename+'wiki.zh.text.model'
outp2 = basename+'wiki.zh.text.vector'

program = os.path.basename(basename)
logger = logging.getLogger(program)
logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
logger.info("running %s" % ' '.join(sys.argv))
# check and process input arguments
if len(sys.argv) < 4:
    print(globals()['__doc__'] % locals())

model = Word2Vec(LineSentence(inp), size=400, window=5, min_count=5,
        workers=multiprocessing.cpu_count())  # workers是统计cpu核数
# trim unneeded model memory = use(much) less RAM
#model.init_sims(replace=True)
model.save(outp1)
model.save_word2vec_format(outp2, binary=False)

输出如下：
2019-05-08 22:28:25,638: INFO: running c:\users\mantch\appdata\local\programs\python\python35\lib\site-packages\ipykernel_launcher.py -f C:\Users\mantch\AppData\Roaming\jupyter\runtime\kernel-b1f915fd-fdb2-43fc-bcf3-b361fb4a7c3d.json
2019-05-08 22:28:25,640: INFO: collecting all words and their counts
2019-05-08 22:28:25,642: INFO: PROGRESS: at sentence #0, processed 0 words, keeping 0 word types
Automatically created module for IPython interactive environment
2019-05-08 22:28:27,887: INFO: PROGRESS: at sentence #10000, processed 4278620 words, keeping 2586311 word types
2019-05-08 22:28:29,666: INFO: PROGRESS: at sentence #20000, processed 7491125 words, keeping 4291863 word types
2019-05-08 22:28:31,445: INFO: PROGRESS: at sentence #30000, processed 10424455 words, keeping 5704507 word types
2019-05-08 22:28:32,854: INFO: PROGRESS: at sentence #40000, processed 13190001 words, keeping 6983862 word types
2019-05-08 22:28:34,125: INFO: PROGRESS: at sentence #50000, processed 15813238 words, keeping 8145905 word types
2019-05-08 22:28:35,353: INFO: PROGRESS: at sentence #60000, processed 18388731 words, keeping 9198885 word types
2019-05-08 22:28:36,544: INFO: PROGRESS: at sentence #70000, processed 20773000 words, keeping 10203788 word types
2019-05-08 22:28:37,652: INFO: PROGRESS: at sentence #80000, processed 23064544 words, keeping 11144885 word types
2019-05-08 22:28:39,490: INFO: PROGRESS: at sentence #90000, processed 25324650 words, keeping 12034343 word types
2019-05-08 22:28:40,688: INFO: PROGRESS: at sentence #100000, processed 27672540 words, keeping 12878856 word types
2019-05-08 22:28:41,871: INFO: PROGRESS: at sentence #110000, processed 29985282 words, keeping 13688622 word types
2019-05-08 22:28:42,944: INFO: PROGRESS: at sentence #120000, processed 32025045 words, keeping 14477767 word types
2019-05-08 22:28:44,048: INFO: PROGRESS: at sentence #130000, processed 34267390 words, keeping 15309447 word types
2019-05-08 22:28:45,197: INFO: PROGRESS: at sentence #140000, processed 36451394 words, keeping 16090548 word types
2019-05-08 22:28:46,345: INFO: PROGRESS: at sentence #150000, processed 38671717 words, keeping 16877015 word types
2019-05-08 22:28:47,483: INFO: PROGRESS: at sentence #160000, processed 40778409 words, keeping 17648492 word types
2019-05-08 22:28:48,655: INFO: PROGRESS: at sentence #170000, processed 43154040 words, keeping 18308373 word types
2019-05-08 22:28:49,759: INFO: PROGRESS: at sentence #180000, processed 45231681 words, keeping 19010906 word types
2019-05-08 22:28:50,826: INFO: PROGRESS: at sentence #190000, processed 47190144 words, keeping 19659373 word types
2019-05-08 22:28:51,886: INFO: PROGRESS: at sentence #200000, processed 49201934 words, keeping 20311518 word types
2019-05-08 22:28:52,856: INFO: PROGRESS: at sentence #210000, processed 51116197 words, keeping 20917125 word types
2019-05-08 22:28:53,859: INFO: PROGRESS: at sentence #220000, processed 53321151 words, keeping 21513016 word types
2019-05-08 22:28:54,921: INFO: PROGRESS: at sentence #230000, processed 55408211 words, keeping 22207241 word types
2019-05-08 22:28:59,645: INFO: PROGRESS: at sentence #240000, processed 57442276 words, keeping 22849499 word types
2019-05-08 22:29:00,988: INFO: PROGRESS: at sentence #250000, processed 59563975 words, keeping 23544817 word types
2019-05-08 22:29:02,292: INFO: PROGRESS: at sentence #260000, processed 61764248 words, keeping 24222911 word types
2019-05-08 22:29:03,654: INFO: PROGRESS: at sentence #270000, processed 63938511 words, keeping 24906453 word types
2019-05-08 22:29:04,900: INFO: PROGRESS: at sentence #280000, processed 66096661 words, keeping 25519781 word types
2019-05-08 22:29:06,057: INFO: PROGRESS: at sentence #290000, processed 67947209 words, keeping 26062482 word types
2019-05-08 22:29:07,229: INFO: PROGRESS: at sentence #300000, processed 69927780 words, keeping 26649878 word types
2019-05-08 22:29:08,506: INFO: PROGRESS: at sentence #310000, processed 71800313 words, keeping 27230264 word types
2019-05-08 22:29:09,836: INFO: PROGRESS: at sentence #320000, processed 73942427 words, keeping 27850568 word types
2019-05-08 22:29:11,419: INFO: PROGRESS: at sentence #330000, processed 75859220 words, keeping 28467061 word types
2019-05-08 22:29:12,379: INFO: collected 28914285 word types from a corpus of 77273203 raw words and 338042 sentences

3.测试结果


# 测试结果
import gensim

# 定义输入输出
basename = "F:/temp/DL/"
model = basename+'wiki.zh.text.model'

model = gensim.models.Word2Vec.load(model)

result = model.most_similar(u"足球")
for e in result:
    print(e[0], e[1])

c:\users\mantch\appdata\local\programs\python\python35\lib\site-packages\ipykernel_launcher.py:11: DeprecationWarning: Call to deprecated most_similar (Method will be removed in 4.0.0, use self.wv.most_similar() instead).
This is added back by InteractiveShellApp.init_path()

排球 0.8914323449134827
籃球 0.8889479041099548
棒球 0.854706883430481
高爾夫 0.832783043384552
高爾夫球 0.8316080570220947
網球 0.8276922702789307
橄欖球 0.823620080947876
英式足球 0.8229209184646606
板球 0.822044312953949
欖球 0.8151556253433228

result = model.most_similar(u"男人")
for e in result:
    print(e[0], e[1])

女人 0.908246636390686
男孩 0.872255802154541
女孩 0.8567496538162231
孩子 0.8363182544708252
知道 0.8341636061668396
某人 0.8211491107940674
漂亮 0.8023637533187866
伴侶 0.8001378774642944
什麼 0.7944830656051636
嫉妒 0.7929206490516663

c:\users\mantch\appdata\local\programs\python\python35\lib\site-packages\ipykernel_launcher.py:1: DeprecationWarning: Call to deprecated most_similar (Method will be removed in 4.0.0, use self.wv.most_similar() instead).
“”"Entry point for launching an IPython kernel.

xz23333
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
维基百科100维词向量模型下载
08-19
word2vec预训练模型，gensim做的
使用paddle ernie预训练模型进行中文文本分类代码
u010569893的博客
06-22 1706
使用paddle的预训练模型ernie进行中文文本二分类的代码实现 包括：模型训练、模型预测、动静图模型转化、模型的部署和上线预测
NLP实战：中文文本分类-Pytorch实现
m0_62237233的博客
05-31 3878
model.train() # 切换为训练模式optimizer.zero_grad() # grad属性归零loss = criterion(predicted_label, label) # 计算网络输出和真实值之间的差距，label为真实值loss.backward() # 反向传播torch.nn.utils.clip_grad_norm_(model.parameters(), 0.1) # 梯度裁剪optimizer.step() # 每一步自动更新# 记录acc与loss。
Word2vec详解（附Gensim代码）
最新发布
m0_62965652的博客
03-19 1463
简单讲解word2vec及其代码
【自然语言处理（NLP）实战】LSTM网络实现中文文本情感分析（手把手与教学超详细）
halo的博客
11-15 6980
在当今数字化时代，人们在社交媒体、评论平台以及各类在线交流中产生了海量的文本数据。这些数据蕴含着丰富的情感信息，从而成为了深入理解用户态度、市场趋势，甚至社会情绪的宝贵资源。自然语言处理（NLP）的发展为我们提供了强大的工具，使得对文本情感进行分析成为可能。在这个领域中，长短时记忆网络（LSTM）凭借其能够捕捉文本序列中长距离依赖关系的能力，成为了情感分析任务中的一项重要技术。通过详细的步骤和示例代码，深入了解如何处理中文文本数据、构建LSTM模型、进行训练和评估。
机器学习-文本处理
aids1990的博客
07-28 667
基础知识 语料库(corpus)：语料库有三点特征语料库中存放的是在语言的实际使用中真实出现过的语言材料，因此例句库通常不应算作语料库；语料库是承载语言知识的基础资源，但并不等于语言知识；真实语料需要经过加工（分析和处理），才能成为有用的资源。 北京大学语料库(http://icl.pku.edu.cn/ )北大计算语言学研究所俞士汶教授主持，北大、富士通、人民日报社共同开发《人民日...
Pytorch TextCNN实现中文文本分类（附完整训练代码）
AI吃大瓜的博客
01-07 2万+
Pytorch TextCNN实现中文文本分类；TextCNN文本分类；Pytorch文本分类；中文文本分类
word2Vec训练中文模型
CSDN_of_ding的博客
08-10 3299
本以为so easy，结果搞了一天，记录一下，方便以后回顾，如果能帮到你那最好了！ 1.准备数据与预处理 首先需要一份比较大的中文语料数据，我用的 中文维基百科. 中文维基百科的数据不是太大，xml的压缩文件大约1G左右。首先用 process_wiki_data.py处理这个XML压缩文件，执行 python process_wiki_data.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text 以下是代码：process_wiki_data.py
268G+训练好的word2vec模型（中文词向量）
古月哲亭
08-19 4419
268G+训练好的word2vec模型（  从网上了解到，很多人缺少大语料训练的word2vec模型，在此分享下使用268G+语料训练好的word2vec模型。 训练语料： 百度百科800w+条，26G+ 搜狐新闻400w+条，13G+ 小说：229G+ image.png 模型参数： window=5 min_count=10 size=128 hs=1 negative=0 iter=5 ps：其它参数见gensim库，执行代码为：gensim.models.Word2Vec(sen
【NLP】6 gensim word2vec基于中文语料库实战——中文wiki百科、清华大学自然语言处理实验室数据集、搜狗全网新闻数据集
YoungSeng's Blog
02-16 2327
@[TOC](gensim word2vec自己寻找语料库非gensim data实战) # 1. 数据下载 英文语料数据来自[英语国家语料库](https://ota.bodleian.ox.ac.uk/repository/xmlui/handle/20.500.12024/2554)（British National Corpus, 简称BNC）(538MB, 样例数据22MB)和[美国国家语料库](http://www.anc.org/data/oanc/download/)（318MB），中文语
12万条微博训练的word2vec词向量模型
李坦(TJNU教育技术学)
05-18 1541
该语言模型是采用gensim库提供的word2vec模型训练而成,训练样本量达12万条博文，该模型能够反映一定的语言规律，因此可以作为日常编程训练使用。 1.调用方法 from gensim.models import word2vec model = word2vec.Word2Vec.load("public_opinion_word2vec_2.model") 2.测试 model.most_similar("上海") 3.项目开源地址 https://github.com/GarrettL.
word2vec词向量训练及中文文本相似度计算 【源码+语料】
02-18
该资源主要参考我的博客：word2vec词向量训练及中文文本相似度计算 http://blog.csdn.net/eastmount/article/details/50637476 其中包括C语言的Word2vec源代码（从官网下载），自定义爬取的三大百科（百度百科、互动...
python+Word2Vec实现情感分析完整项目
07-29
python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，...
Word2Vec java版实现
05-12
Word2Vec的java版实现，可用于NLP领域的研究与学习。
在python下实现word2vec词向量训练与加载实例
12-17
word2vec的原理就不描述了，word2vec词向量工具是由google开发的，输入为文本文档，输出为基于这个文本文档的语料库训练得到的词向量模型。 通过该模型可以对单词的相似度进行量化分析。 word2vec的训练方法有2种，...
土耳其语-Word2Vec：土耳其语的预训练Word2Vec模型
02-03
土耳其语预训练Word2Vec模型 （下面是土耳其语版本。/Türkçeiçinaşağıyabakın。） 本教程介绍了如何从Wikipedia转储中为土耳其语训练word2vec模型。 此代码使用库以Python 3编写。 土耳其语是一种凝集性语言...
用正向和逆向最大匹配算法进行中文分词
时空霹雳的专栏
07-14 5526
1.概述         用正向和逆向最大匹配算法进行中文份额
【文本分类】利用bert-base-chinese训练自己的模型完成中文文本分类任务（pytorch实现）
qq_43426908的博客
02-18 2696
【文本分类】利用bert-base-chinese训练自己的模型完成中文文本分类任务（pytorch实现）
python︱gensim训练word2vec及相关函数与功能理解
热门推荐
素质云笔记
04-09 8万+
一、gensim介绍 gensim是一款强大的自然语言处理工具，里面包括N多常见模型： - 基本的语料处理工具 - LSI - LDA - HDP - DTM - DIM - TF-IDF - word2vec、paragraph2vec . 二、训练模型 1、训练 最简单的训练方式： # 最简单的开始 import gensim sent...
bert模型对语料库预处理的代码
04-04
BERT模型对语料库预处理的代码主要包括以下几个步骤： 1. 将原始语料库转化为BERT模型能够处理的格式 2. 对输入文本进行分词 3. 添加特殊标记，如[CLS]、[SEP]等 4. 对句子进行padding，使其长度相同 5. 构建输入的特征向量 下面是一个简单的BERT模型对语料库预处理的代码示例： ```python import torch from transformers import BertTokenizer from torch.utils.data import TensorDataset, DataLoader, RandomSampler, SequentialSampler # 加载BERT分词器 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 加载数据集 sentences = ["This is the first sentence.", "This is the second sentence."] labels = [0, 1] # 对文本进行分词和添加特殊标记 input_ids = [] for sentence in sentences: encoded_sent = tokenizer.encode(sentence, add_special_tokens=True) input_ids.append(encoded_sent) # 对句子进行padding MAX_LEN = 64 input_ids = torch.tensor([i + [0]*(MAX_LEN-len(i)) for i in input_ids]) # 构建attention masks attention_masks = [] for sent in input_ids: att_mask = [int(token_id > 0) for token_id in sent] attention_masks.append(att_mask) # 构建数据集 dataset = TensorDataset(input_ids, attention_masks, torch.tensor(labels)) # 构建数据加载器 batch_size = 32 dataloader = DataLoader(dataset, sampler=RandomSampler(dataset), batch_size=batch_size) ``` 以上代码中，我们首先加载了BERT分词器，然后对输入文本进行分词和特殊标记的添加，接着对句子进行padding，最后构建了输入特征向量和数据加载器。这样，我们就可以将预处理后的数据输入到BERT模型中进行训练或推理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值