（二）利用Wikipedia中文语料训练词向量word2vec——分词、训练word2vec

最新推荐文章于 2022-11-12 23:28:00 发布

风度翩翩猪肉王子

最新推荐文章于 2022-11-12 23:28:00 发布

阅读量880

点赞数 1

分类专栏： MachineLearning 文章标签： word2vec gensim wikipedia

本文链接：https://blog.csdn.net/qq_17249717/article/details/103037067

版权

本节博客介绍了如何利用jieba分词和gensim训练word2vec模型。首先，通过jieba对Wikipedia中文语料进行分词，然后使用gensim设置skip-gram模型、min_count、window大小和词向量维度等参数来训练模型，最终在本地生成训练好的word2vec模型文件。训练过程耗时较长，对于2G左右的语料库可能需要近三小时。

摘要由CSDN通过智能技术生成

在前一节，（一）利用Wikipedia中文语料训练词向量word2vec——获取Wikipedia简体中文语料库
我们学习到了如何下载Wiki中文语料库，并且学会了如何将繁体转换为简体。在这一节中，我们将学习如何训练word2vec，包括分词以及训练两个步骤。所有的处理过程都是在jupyter notebook中进行的。

第一步 jieba分词

import pandas as pd
import codecs
import jieba, re

其中codecs模块用于打开数据量大的文本文件。

%%time # 统计代码的运行时间

# 利用codecs模块打开大容量文本，wiki_text.txt是简体文件
f = codecs.open('wiki_text.txt', 'r', encoding='utf-8')

# 将分词后的文件存入target
target = codecs.open('wiki.zh.jianti.cut.words.txt', 'w', encoding='utf-8')
line_num = 1
line = f.readline()  # 按行读取
# 匹配中文分词
zhPattern = re.compile(u'[\u4e00-\u9fa5]+')
while line:
    print('-'*8 + 'processing ', line_num, ' article' + '-'*8)