《Agglomerative clustering of a search engine query log》阅读笔记

作者介绍：

Doug Beeferman

研究query聚类的先驱。
论文引用数量叹为观止啊。Agglomerative clustering of a search engine query log   (Citations: 289)
他是lycos搜索引擎公司的研究员。一个古老的搜索引擎 http://www.se-express.com/about/lycos.htm。
他后来还是去了Google，居然去搞语音搜索了。见论文《Google Search by Voice: A Case Study》
主页：http://www.dougb.com/  这人的主页很温馨，搞了很多家庭的链接。

论文的基本思想：

还是通过搜索引擎的日志来计算两个query直接的相关性。

我们再回忆一下计算两个query的相关性，要么是直接用query之间的编辑距离来做；要么对query用一个特征向量来表述，用特征向量

来计算相关性，也就是向量空间模型（VSM）。第二种方法其实就是如果两个不同的Query，如果检索出相同的URL，并且都被用户点击

那么两个Query之间就有相关性。

举例来说：假如有4个URL，两个query。这两个query在url上的点击向量分别是(1,0,1,0),(1,1,01)。

(1,0,1,0)表示query1在第一个和第三个URL上面有点击，而在第二和第四个URL上面没有点击。

那么用这两个向量的cosin值就可以度量两个query的相关性。这就是VSM模型。

在这篇论文中直接是就是用类似的第二种方法来做的，但是比VSM更进了一步。如果两个Query相关性很高，那么就用合并，并且特征也要做相应的合并。不是用VSM来做相关性的距离衡量公式，而是用URL的交集除以并集来

做度量。