个性化系统推送 java_个性化推送系统

1.目标

通过内容推荐到达用户，触发用户点击推送，提供更多内容分发入口，同时提升DAU。

2.数据

2.1 App数据现状

WAU: 244w. VUV: 184w(两周 240w) SE: 97.6w.

启动次数: 2643w

两周用户观看视频个数分布:

中位数:6

70分位:17

90分位:39

100分位:1800

2.3w个PGC视频具备二级分类标签以及曲风

用户行为维度包括观看时长以及观看个数。视频维度包括播放次数、分享次数、评论个数

结论：从视频观看入手能够覆盖75%的用户,其中超过37.5%用户具有多次视频观看行为，具备基于内容推荐的数据基础。

2.2 算法

采用基于内容的推荐算法，快速迭代测试版。

2.2.1 基于内容的TopN推荐

1. 数据归一化

用户维度和视频维度都采用非线性归一化。比Z-Score实现简单，结果落入[0,1]区间。效果极其接近。鲁棒性比线性离散化要强，能够容忍数据噪声。

f(x)=atan(x)*2/PI()

2. 计算方法

统计用户过去两周观看视频，根据子类计算每类视频观看个数以及观看时长,计算用户类别的得分f(user)。

根据视频三个维度，归一化，计算每个视频的综合得分 f(video).

关联用户得分和视频得分，计算用户每个视频得分f(score),去除过去一个月推送历史的视频，得到最高得分(TopN)的f(score)的视频。

公式表达:

f(user)=n(time)+n(vcnt)

f(video)=n(hits)+n(share)+n(comment)

f(score)= max(f(user)*f(video))

2.2.2 冷启动与抄底

使用混排技术暂时不存在冷启动问题(筛选了有行为的用户)--- 应该做更强的过滤规则

抄底数据使用，糖豆广场舞课堂专家推荐数据：

掌声在哪里：舞友最爱的爆款

乌来山下一朵花：零基础入门级

哥哥你别忘了我：旋律超洗脑

幸福小城：唯美，水墨风

南屏晚钟：唯美，集体舞

你潇洒我漂亮：双人舞

燃烧的爱火：风格独特

3. 服务

3.1 服务流程

数据端生成Hive表 Personal_Push。

服务端导入HBase读取。根据vid正则匹配标题,关联作者。

调用信鸽API,进行批量发送。

参数

含义

取值

token

用户信鸽token

343434344fff

vid

推送的视频的id

77555343

dt

推送日期

2016-08-25

3.2 推送后台(暂时不开发)

分组

标签

地图框选

3.3 未来服务架构

pp.png

4. 文案

通用型

[猜您喜欢]亲，为你推荐XXX老师的XXX视频(舞蹈),快来看看吧。

[XXX] 您可能错过了XXX内容。

注册用户

XXX,快看看XXX,XXX等人的视频。

XXX,您身边的好友都在看XXX这个视频哦。

5.评估

达到率

打开率

可能带来的DAU

6.问题

数据

视频数据质量很低，分类不合理，维度不够

用户关系覆盖不够，限制更多的推送手段

算法

采用协同过滤等

服务

信鸽到达率存疑，数据存疑

7.追踪

9月1号正式环境的个性化推送，原计划推330w设备，受限于信鸽自有性能，十个小时推送了240w设备，qps大概在6左右。

7.1 当日监测:

监测到8.8w行为(140w)，根据之前在高德的通用到达率和打开率的对比，推测信鸽通用达到率在720%左右,远低于友盟6570%的达到率。

整体数据评估：

推送接受率99.5%,送出未知，通道送达未知，送达未知。

打开/删除比例 1:2。

7.2 数据评论:

推送数据评估需要完整链条，请求发送 ---> 推送服务受理 ---> 推送服务送出 ---> 通道送达 --->APP送达 -->APP打开。

目前信鸽链条数据只有前面两步和最后一步，无法计算出核心数据，到达率和打开率。

7.3 下一个阶段工作目标:

从信鸽单推送通道升级到包括小米、华为以及友盟等多通道推送，逐步自建推送系统。

目前主要是针对内容的推送，目前内容数据维度非常糟糕，表现为数据缺失、维度稀少、数据不合理等等。后续需要大力梳理数据，提升数据可用性。

持续的算法评估以及提升，下一步基于Spark的协同过滤算法，提高推荐系统的性能和效用。

7.4 后续数据追踪:

结论：

信鸽推送瞬间到达比较少，推送需要一个较长的时间消化。所以选择时间点比较重要。

信鸽到达率比较低。

现在每天的大推只给了140w设备推送，后续需要切到个性化推送系统上来。全量推780w设备。

同一个设备信鸽号在短时间很难稳定，不少设备信鸽号持续变化，导致设备收不到推送。

表格：

推送时间

请求发送

推送送出

通道送达

到达率(通道送达/请求发送)

APP打开

打开率(APP打开/通道送达)

2016-09-02 15:00

3750424

2,576,949

2,535,222

67.60%

101,785

4.01%

2016-09-03 18:00

3809956

2,542,567

2,441,994

64.10%

90,512

3.71%

2016-09-04 12:00

5152682

2,766,853

2,588,681

50.24%

110,400

4.26%

2016-09-05 17:00

5201838

2,495,540

2,346,331

45.1%

87,645

3.74%

结论：

尽快放弃信鸽推送。