基于每日用户搜索内容,假设只有少量已知商品的情况下,如何根据用户搜索内容获取平均平台内没有的新商品?
答案:这是一条类似于分词“新词获取问题”,答案是基于信息熵+聚合度。
需要考虑先做stop库,先去除形容词等。
1、信息熵
比如用户搜索“曲面屏 白色”,假设商品库中没有显示屏这个商品,我们需要判断“显示屏”是否是潜在的商品,需要考虑“显示屏”左词、右词出现的可能。也就是说如果大家都在搜索“显示屏”商品,会出现大量的“便宜显示屏”、“可旋转显示屏”、“显示屏 黑色”等搜索短语,根据信息熵计算公式,“显示屏”前后出现的词语类别越多,信息熵越大,代表用户搜索的需求越旺盛,“显示屏”越有可能是没有的商品。
2、聚合度
根据信息熵的理论也会出现“显示”等高频出现的干扰词,再用聚合度,比如先计算出p(“显示”)、p(“屏”)或p(“显”)、p(“示屏”)的概率,如果“显示”是一个高频合理的搜索词的话,p("显示")*p(“屏”)应该远大于p(“显示屏”),p(“显”)*p("示屏")应该远远大于p("显示屏")的概率,而实际电商搜索中,用户连贯搜索“显示屏”的概率才是远超其它。