这篇论文是05年的,相比来说是比较早的一篇论文,基本上摆脱了人工分类的阶段,开始探讨自动分类的阶段了。论文题目是《Automatic Web Query Classification Using Labeled and Unlabeled Training Data》, 翻译过来是《利用标记和为标记训练数据的查询自动分类》,作者是Illinois的Steven。
摘要
论文将要讨论三种独立的方法来进行查询主题的归类:人工标记的查询、有监督的分类、有限选择性。最后会将这三个方法组合起来。在实验部分,将分别进行性能的测试,并且最终显示组合起来的分类准确率会高很多,但是只有46%。
简介
如果能够成功的将一个用户查询映射到一个主题目录中,尤其是这些搜索引擎擅长的目录,必将带来很大的性能的提升。比如说查询的分流、基于主题的查询重构以及目标广告等等。
方法论
总的来说,本论文中的分类框架是基于准确率的,融合一些能够提高召回率的及其学习方法。
- 准确匹配方法用了18个人工分类的目录,但是这只是占据了查询的很小的一部分,而且只是对于常见的查询有效果。缺点是它代价很高,召回率很低。
- 因此,将这些准确分类的查询分为两种用法。一种是将其看成有监督学习的训练基。论文为每个类别训练了一个感知器分类器,每一个是一个二元的分类器,本类别和其他17个类别。每个感知器的阈值最后都会被优化成常数,但是发现它能够有很高的召回率,但是准确率很低。
- 为了更好地提高召回率,引入了计算语言学中的有限选择性。这个概念理解为“词x非常喜欢一个属于类别u的词y”。如果是这样,u就是一个很好的预测,如果y在这种上下文中很模糊。稳重的讲解我没有怎么看懂,这个选择优先性需要再查阅相关的资料。
- 对于怎么组合在一起的,也没有怎么详尽的说明。
结果分析
结果的评价采用了微f1,微准确率和微招汇率的方法,结果显示组合在一起的各个指标都要好很多。
这个论文提到了三种方法,应该都是很早以前的了,而且论文非常的短,只有两页,所以很多方法我也没有怎么看懂,需要查阅一些相关的资料才能知道。