1.背景
1.1.端上智能
端上智能是相对于云计算人工智能应用(如推荐、搜索)的概念:如工业界成熟的推荐系统方案,几乎都是通过云计算的算力,在海量候选集中搜索用户感兴趣的Feed,并通过复杂的精排模型(百亿至千亿级参数规模)将排序Top的Feeds列表发送给智能手机终端。智能手机终端在这个过程中,只是对云端下发的Feeds列表进行渲染,收集用户反馈进行上报,并没有执行推荐算法。所有AI算法全都部署在云端,智能手机通过网络请求才能获得云端AI计算的结果。
近些年智能手机等终端设备的算力有了显著提升,这些算力足以支持一些中等规模的DNN模型进行推理与训练,一些原本只能在云端运行的AI模块,可以部署在智能手机终端上,从而使得智能手机终端,在不依赖云端的情况下,也可以进行独立的AI计算。
目前业内,手淘猜你喜欢在端上智能落地方面已有实践,并取得较为显著收益(EdgeRec[1, 2], 双十一ipv+10%, gmv+5%)。
1.2.上下滑推荐
上下滑推荐,相对于传统的Feeds流推荐,不再向用户展示Feeds封面列表,每一屏直接展示一个Feeds详情页内容,用户不能预知接下去展示的Feeds(见图一)。
图一: 封面瀑布流与上下滑
对于上下滑这种推荐形式,很自然的想到,每一屏消费一个视频时,用户都会产生显式/隐式的反馈,推荐系统根据这些实时反馈可以及时修正用户偏好,下一屏即向用户推荐更好的作品。
遗憾的是,上下滑的推荐形式并不支持手机终端每屏都请求云端重新生成一个推荐结果。客户端每次请求服务端,实际会下发PageSize(PageSize >> 1)个Feeds,等用户浏览完下发的PageSize个Feeds后,才会继续触发服务端推荐系统,重新计算并下发PageSize个Feeds(见图二)。