搜索推荐系统实战篇-上半篇
在电商搜索中,例如淘宝,拼多多,京东等的搜索的场景往往是:用户A通过搜索框Query找到他/她想要购买的东西,然后搜索引擎通过某些算法策略返回一系列商品,用户再决定是否进行点击购买。
要做好这样一个问题,我们需要抓住问题的核心。那么搜索引擎的核心是什么呢?至少有两点。
- 返回的商品一定要是强相关的,也就是说Query和Item必须是强相关的,如果返回的商品是不相关的,举个例子,用户过去只在Aliexpress上买篮球鞋,突然有一天想买个足球,结果搜索引擎返回的全部是篮球鞋相关或者是其它无关的商品,此时用户的体验肯定会非常差,用户大概率会骂搜索引擎垃圾......所以搜索引擎最为重要的一步就是返回强相关的商品;
- 返回用户大概率会购买的商品:如果搜索引擎返回的商品都是强相关的,那么下一步,我们便可以把该问题转化为一个推荐相关的问题,我们需要找出该情况下转化率最高的商品推荐给用户。因为即使是相关的商品,也会有千千万万个,但用户并不是所有的商品都会进行购买,比如,某用户月收入是几千元,但搜索引擎返回给用户的商品都是几十万的,很明显超出了用户的能力范围,所以用户购买的概率几乎为0,但如果我们推荐的商品是用户能力范围内的符合用户兴趣爱好的,那么用户购买的概率就会大大提升。
从上面看,我们的核心至少有两个,一个是构建Query与Item的关系(保证Query下返回的商品至少是强相关的),第二个就是构建User和Item的关系(在强相关的商品中,找到用户大概率会点击购买的商品)。
上面两点是很多电商搜索引擎需要做到的,依据平台的不同,可能还会有些许不一致。
在电商搜索背景下,我们的目标依据大佬们对于平台当前的发展定位以及未来规划达到的目标往往会有些许不同,优化的指标也会有较大的不同,常见的一些热门指标如下:
- UV价值:店铺转化率越高同时客单价也较高的话,店铺的UV价值就会很不错;如果平台上店铺的uv价值不错,那么商家就只需要通过相关策略提升店铺的uv,往往就可以带来不错的收益。该指标可以从一定程度反映平台的性质,如果转化率很高,但是UV价值很低,那么大家的定位可能就是卖便宜商品的;如果转化高,UV价值也高,这个一般就是非常完美的了。
- UV价值=销售额/访客数=转化率*客单价;
- 曝光到购买的转化率:这个指标较容易理解,就是商品从曝光到被购买的概率,如果平台的转化率很高,一般可以反映该平台诸多产品都还是很受欢迎的;用在推荐搜索推荐的场景较多,可以从侧面反映搜索引擎的好坏;
- 转化率=购买量/曝光量;
- GMV(Gross Merchandise Volume):是成交总额(一定时间段内)的意思,一般包含拍下未支付订单金额,所以一般会高于实际成交额。该指标越大,往往能说明平台的影响力也非常大,因而该指标也常常被用于各大电商平台的比较,该指标一般也是长期需要被关注的指标
- 复购率:重复购买率有两种计算方法:一种是所有购买过产品的顾客,以每个人人为独立单位重复购买产品的次数,比如有10个客户购买了产品,5个产生了重复购买,则重复购买率为50%;第二种,按交易计算,即重复购买交易次数与总交易次数的比值,如某月内,一共产生了100笔交易,其中有20个人有了二次购买,这20人中的10个人又有了三次购买,则重复购买次数为30次,重复购买率为30%。企业一般采用的是第一种。该指标一般到了平台到一定规模之后会关注的,考量用户的对于平台的忠诚度,用来衡量平台的良性;
- 90天内重复购买率达到1%~15%;说明你处于用户获取模式;把更多的精力和资源投入到新用户获取和转化;90天内重复购买率达到15~30%;说明你处于混合模式;平衡用在新用户转化和老用户留存、复购上的精力和资源;90天内重复购买率达到30%以上;说明你处于忠诚度模式;把更多的精力和资源投入到用户复购上;(摘自:《精益数据分析》)
上面几个指标是电商平时较为关注的,当然还有非常多其它重要的评估指标,例如:总体运营指标,网站流量指标,销售转化指标,客户价值指标,商品及供应链指标,营销活动指标,风险控制指标,市场竞争指标等等,想要深入理解的话可以阅读参考文献[7]。
本文我们重点关注精排侧提升曝光到转化的优化问题,即从曝光到被购买的概率优化问题。
和许多数据建模问题类似,在我们的问题初步确定之后,接下来需要考虑的问题就是设计评估指标并针对问题进行指标的优化。
- 线上指标:计算的就是从曝光到购买的转化率,无需再进一步设计;
- 线下指标:线下指标我们需要能尽可能的对应到线上,即,线下涨的同时尽可能保证线上也能涨;
1. AUC(采样/不采样)
在很多情况下,我们一开始会选用AUC(Area Under Curve)指标来对线下模型进行评估。ROCAUC被定义为ROC曲线下与坐标轴围成的面积,一般我们以TPR为y轴,以FPR为x轴,就可以得到ROC曲线。
在数据量非常大的情况下计算AUC是比较耗时的,有时为了快速迭代,我们会对验证样本进行随机采样然后计算AUC的值进行比较,这在KDD2020 Best Paper中也有讨论,采样之后的AUC一般是没有问题的,所以还是相对稳定的。
AUC指标在诸多问题中是一个非常不错的指标,但是在电商搜索的问题上可能会有些许不一致。举个简单的例子,假设我们每次曝光3个商品,
这个时