word2vec 训练维基百科正文数据

参考网页：

用word2vec 跑搜狗SogouCS语料 - 大小4G

word2vec使用指导

从维基百科网页提取的预料：1.9G

训练语句：

// alpha学习率，默认0.025; min-count纳入训练的单词的最低出现频率，默认为5; classes聚类个数
./word2vec -train text -output ANSJ_vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1
Vocab size: 957807
Words in train file: 362757324
training time: about 30 mins

数据对比：

</pre><pre name="code" class="plain">// 分词采用stanford word segment 工具
语料大小：1.6G
Vocab size: 887566
Words in train file: 283618995