word2vec介绍
word2vec官网:https://code.google.com/p/word2vec/
- word2vec是google的一个开源工具,能够根据输入的词的集合计算出词与词之间的距离。
- 它将term转换成向量形式,可以把对文本内容的处理简化为向量空间中的向量运算,计算出向量空间上的相似度,来表示文本语义上的相似度。
- word2vec计算的是余弦值,距离范围为0-1之间,值越大代表两个词关联度越高。
- 词向量:用Distributed Representation表示词,通常也被称为“Word Representation”或“Word Embedding(嵌入)”。
简言之:词向量表示法让相关或者相似的词,在距离上更接近。
具体使用
收集语料
本文:
网上的英文语料:http://mattmahoney.net/dc/text8.zip
语料训练信息:training on 85026035 raw words (62529137 effective words) took 197.4s, 316692 effective words/s
该语料编码格式UTF-8,存储为一行,长度很长……如下:
注意:
理论上语料越大越好
理论上语料越大越好
理论上语料越大越好
重要的事情说三遍。
因为太小的语料跑出来的结果并没有太大意义。
word2vec使用
python,利用gensim模块。
win7系统下在通常的python基础上gensim模块不太好安装,所以建议使用anaconda,具体参见:python开发之anaconda【以及win7下安装gensim