ps:整理电脑文档,将之前的做的word2vec训练的中文模型实验记录做下poko,欢迎交流学习。
1.准备数据与预处理
注意事项:请将内存最好选择8g及以上的电脑,否则可能卡顿,并在开始时候安装好python的使用环境,不仅是python 的安装,最好还有就是安装好Anaconda3,修改相关的系统环境PATH变量,并且如果原先有python的路径去掉。并且还要安装好相关的gensim等库,具体参看本地文件“windowslinux 安装gensim简易方法”。
首先需要一份比较大的中文语料数据,可以考虑中文的维基百科(也可以试试搜狗的新闻语料库)。中文维基百科的打包文件地址为
https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
中文维基百科的数据不是太大,xml的压缩文件大约1G左右。首先用 process_wiki_data.py处理这个XML压缩文件,执行:
pythonprocess_wiki_data.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.txt
其中,process_wiki_data.py代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import logging
import os.path
import sys
from gensim.corpora import WikiCorpus
if __name__ == '__main__':
program = os.path.basename(sys.argv[0])
logger = logging.getLogger(program) logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
lo