搜索引擎算法之关键词类目预测

在搜索算法中，关键词类目是非常重要的一个话题，是搜索排序中的一个重要模块。搜索排序可以可以简单的分成几个模块：文本相关性、质量分、转化率。文本相关性可以由粗到细分解为类目相关性、属性相关性、语义相关性几个部分。本文重点解析一下类目相关性。

例如用户搜索“连衣裙”，最相关的类目是“女装-连衣裙”、“童装-连衣裙”。而其他类目中包含连衣裙就不是那么相关，例如帽子类目的商品“适合沙滩连衣裙的帽子”。所以我们可以简单的把商品区分为类目相关和类目不太相关的两个部分。而如何区分是否相关就需要用到关键词的类目预测。

给个例子：student bag 的预测结果。

关键词类目预测的算法很多，从发展路径上来说分为几种方式：

1. 通过pair <商品标题词,类目> ，统计关键词和类目的共现关系
2. 统计用户搜索Query，然后在结果集中点击的商品的集合，统计商品类目的分布。注意这里的Query的term要全部在命中的商品标题中出现，而不是部分出现。
3. 用分类算法的方式，样本是<商品的标题词，类目>，<Query，点击的商品类目>。使用适合多分类的算法分类：最大熵、FastText、TextCNN、BI-LSTM + attention等算法。

在关键词做类目预测之前可以做一个预处理提高准确率。如query归一化、纠错、去除价格区间词、中英文翻译对照等等。