新词获取问题

 

基于每日用户搜索内容，假设只有少量已知商品的情况下，如何根据用户搜索内容获取平均平台内没有的新商品？

答案：这是一条类似于分词“新词获取问题”，答案是基于信息熵+聚合度。

需要考虑先做stop库，先去除形容词等。

1、信息熵

比如用户搜索“曲面屏 白色”，假设商品库中没有显示屏这个商品，我们需要判断“显示屏”是否是潜在的商品，需要考虑“显示屏”左词、右词出现的可能。也就是说如果大家都在搜索“显示屏”商品，会出现大量的“便宜显示屏”、“可旋转显示屏”、“显示屏 黑色”等搜索短语，根据信息熵计算公式,“显示屏”前后出现的词语类别越多，信息熵越大，代表用户搜索的需求越旺盛，“显示屏”越有可能是没有的商品。

2、聚合度

根据信息熵的理论也会出现“显示”等高频出现的干扰词，再用聚合度，比如先计算出p(“显示”)、p(“屏”)或p(“显”)、p(“示屏”)的概率，如果“显示”是一个高频合理的搜索词的话，p("显示")*p(“屏”)应该远大于p(“显示屏”)，p(“显”)*p("示屏")应该远远大于p("显示屏")的概率，而实际电商搜索中，用户连贯搜索“显示屏”的概率才是远超其它。