[分词]
单机跑,耗时: 68分钟
[ 训练 ]
$ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 30 -binary 1
Starting training using file /data/sogou/sohunews_segmented_1line.txt
Vocab size: 575479 (非重复的词典单词个数 57 万)
Words in train file: 688085439 (数据文件词个数 6.8 亿)
线程数: 30
预计 12.8小时跑完。
训练出来的文件: vectors.bin 450M
[ 数据来源 ]
ftp://ftp.labs.sogou.com/Data/SogouCS/SogouCS.tar.gz
[几个结果]
上图========>