相关搜索词的一种粗排方法

源自一次未完成的实验，因为日志里面查询词实在太少了。

word2vec下载地址:http://download.csdn.net/detail/hortond/8095703
解压之后执行make。


下载点评头条内容,contents.txt文件
内容进行分词,需要安装jieba分词:pip install jieba
#! /usr/bin/env python
#coding=utf-8


import jieba
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )


f = open('contents.txt', 'rb')
line = f.readline()
no = 1
while line:
  seg_list = jieba.cut(line, cut_all=False)
  print '\t'.join(seg_list)
  line = f.readline()
  no += 1
f.close()


生成contents_cut.txt文件
生成
使用python gensim模块加载对应的词向量,首先pip install gensim,然后:
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format("vectors.bin", binary=True, unicode_errors="ignore")
然后就可以看到对应的词向量和相似度了:
model[u"男人"]
model.similarity(u"男人",u"女人")
可以算出词向量并非单位向量，并且长度不是固定值


词向量按单位向量进行归一，然后完整查询进行分词，每个词按照idf加权向量叠加，最后再按单位向量进行归一。

为什么归一为单位向量，因为这时余弦相似度和欧几里得距离是相关的了。

最后用kd树取近邻法，取出top k,再取更进一步的特征做精排，出相关搜索的词。