1.目标
通过内容推荐到达用户,触发用户点击推送,提供更多内容分发入口,同时提升DAU。
2.数据
2.1 App数据现状
WAU: 244w. VUV: 184w(两周 240w) SE: 97.6w.
启动次数: 2643w
两周用户观看视频个数分布:
中位数:6
70分位:17
90分位:39
100分位:1800
2.3w个PGC视频具备二级分类标签以及曲风
用户行为维度包括观看时长以及观看个数。视频维度包括播放次数、分享次数、评论个数
结论:从视频观看入手能够覆盖75%的用户,其中超过37.5%用户具有多次视频观看行为,具备基于内容推荐的数据基础。
2.2 算法
采用基于内容的推荐算法,快速迭代测试版。
2.2.1 基于内容的TopN推荐
1. 数据归一化
用户维度和视频维度都采用非线性归一化。比Z-Score实现简单,结果落入[0,1]区间。效果极其接近。鲁棒性比线性离散化要强,能够容忍数据噪声。
f(x)=atan(x)*2/PI()
2. 计算方法
统计用户过去两周观看视频,根据子类计算每类视频观看个数以及观看时长,计算用户类别的得分f(user)。
根据视频三个维度,归一化,计算每个视频的综合得分 f(video).
关联用户得分和视频得分,计算用户每个视频得分f(score),去除过去一个月推送历史的视频,得到最高得分(TopN)的f(score)的视频。
公式表达:
f(user)=n(time)+n(vcnt)
f(video)=n(hits)+n(share)+n(comment)
f(score)= max(f(user)*f(video))
2.2.2 冷启动与抄底
使用混排技术暂时不存在冷启动问题(筛选了有行为的用户)--- 应该做更强的过滤规则
抄底数据使用,糖豆广场舞课堂专家推荐数据:
掌声在哪里:舞友最爱的爆款
乌来山下一朵花:零基础入门级
哥哥你别忘了我:旋律超洗脑
幸福小城:唯美,水墨风
南屏晚钟:唯美,集体舞
你潇洒我漂亮:双人舞
燃烧的爱火:风格独特
3. 服务
3.1 服务流程
数据端生成Hive表 Personal_Push。
服务端导入HBase读取。根据vid正则匹配标题,关联作者。
调用信鸽API,进行批量发送。
参数
含义
取值
token
用户信鸽token
343434344fff
vid
推送的视频的id
77555343
dt
推送日期
2016-08-25
3.2 推送后台(暂时不开发)
分组
标签
地图框选
3.3 未来服务架构
pp.png
4. 文案
通用型
[猜您喜欢]亲,为你推荐XXX老师的XXX视频(舞蹈),快来看看吧。
[XXX] 您可能错过了XXX内容。
注册用户
XXX,快看看XXX,XXX等人的视频。
XXX,您身边的好友都在看XXX这个视频哦。
5.评估
达到率
打开率
可能带来的DAU
6.问题
数据
视频数据质量很低,分类不合理,维度不够
用户关系覆盖不够,限制更多的推送手段
算法
采用协同过滤等
服务
信鸽到达率存疑,数据存疑
7.追踪
9月1号正式环境的个性化推送,原计划推330w设备,受限于信鸽自有性能,十个小时推送了240w设备,qps大概在6左右。
7.1 当日监测:
监测到8.8w行为(140w),根据之前在高德的通用到达率和打开率的对比,推测信鸽通用达到率在720%左右,远低于友盟6570%的达到率。
整体数据评估:
推送接受率99.5%,送出未知,通道送达未知,送达未知。
打开/删除比例 1:2。
7.2 数据评论:
推送数据评估需要完整链条,请求发送 ---> 推送服务受理 ---> 推送服务送出 ---> 通道送达 --->APP送达 -->APP打开。
目前信鸽链条数据只有前面两步和最后一步,无法计算出核心数据,到达率和打开率。
7.3 下一个阶段工作目标:
从信鸽单推送通道升级到包括小米、华为以及友盟等多通道推送,逐步自建推送系统。
目前主要是针对内容的推送,目前内容数据维度非常糟糕,表现为数据缺失、维度稀少、数据不合理等等。后续需要大力梳理数据,提升数据可用性。
持续的算法评估以及提升,下一步基于Spark的协同过滤算法,提高推荐系统的性能和效用。
7.4 后续数据追踪:
结论:
信鸽推送瞬间到达比较少,推送需要一个较长的时间消化。所以选择时间点比较重要。
信鸽到达率比较低。
现在每天的大推只给了140w设备推送,后续需要切到个性化推送系统上来。全量推780w设备。
同一个设备信鸽号在短时间很难稳定,不少设备信鸽号持续变化,导致设备收不到推送。
表格:
推送时间
请求发送
推送送出
通道送达
到达率(通道送达/请求发送)
APP打开
打开率(APP打开/通道送达)
2016-09-02 15:00
3750424
2,576,949
2,535,222
67.60%
101,785
4.01%
2016-09-03 18:00
3809956
2,542,567
2,441,994
64.10%
90,512
3.71%
2016-09-04 12:00
5152682
2,766,853
2,588,681
50.24%
110,400
4.26%
2016-09-05 17:00
5201838
2,495,540
2,346,331
45.1%
87,645
3.74%
结论:
尽快放弃信鸽推送。