推荐系统的核心与问题

      今天阅读一位大神力作，特总结梳理的推荐算法的核心问题所在。如有问题，还望指出，仅是个人学习所得。
       在18年，还有美国知名flag企业高管决策人，在讨论要不要个性化。讲什么multi perspect，而且是美国的主流讨论议题，都在讨论如何防止信息茧房。而今，如果把推荐大略分为5个阶段，国内位于第四阶段，大多数美国推荐团队还没迈进第二阶段。
国外注重理论研究，乍看之下理论高大上，深入看产品的算法细节，却不及13年百度feed的水平。这帮神仙距离实现太远了吧。

        G家的几篇硬核工程向算法paper让人称道，19年出的mmoe，但在业务上，头条在14年时长就到了60多分钟（v2）。17年11月时长超过fb和微信（非社交类对社交类）。60-70多分钟好像距离不远，但你去看看周留存的数据，就知道这步有多难（v3）。这个人认为这也是头条在算法领域弯道超车的关键节点，14-17.11月3年多的积累。

       数据的打通一直是头条的算法感知侧的巨大优势，数据的采购是一方面。另一方面是实时react能很好感知到特征权重，算法能在用户有变化行为后很短时间内准确识别用户意图，也是一种超出用户体验的强大体验。

       目前我还未在任何一家推荐算法相关的app里体验过这种水准。（v4）

      另一方面来自百度的双塔模型和海量特征、海量样本的方式也可能传到头条。毕竟字节的技术人群里百度居多。（这点我存疑）百度feed的水准体验低于头条，而且时长竟然是把低时长内容打压比例的方式来增长。相同策略在其他平台完全是负向效果，估计是实验周期过短，没看到这对用户体验的巨大伤害。短期时长与长期时长效果会提现在周留存上。

        抖音除了算法和体验高级的产品设计外，更重要是pgc+ugc的内容运营及传播的共振。时尚小姐姐的内容pattern不仅质量高，受众易扩大，新内容的冷启动更是流量充足。而，新内容的即时现金激励也是关键环节。而这些环节都和算法息息相关。

        别和我说其他paper，踩过论文坑的推荐算法哥们还少吗？大多数论文都看过，实现过，其实有效得很少。数据集小的可怜，之前我呆的一家手机厂商数十亿级的pv。这两者完全不可比。

       最后，回到结论。美国企业收购tiktok，可能只是收了用户，内容运营loop。即便如此也是价值巨大。虽然用户会大量流失。
用户为什么会流失？你跟踪下用户周留数据就知道。20%就算不错了。怎么留？
新腰部内容的推荐算法分发效率是关键，新内容本身的产生运营也是关键，产品调性用户喜好引导也是关键。三合一体验是我这几年做这块的结论。

        而推荐算法的积累，是以年为单位的各环节的积累，而不是某个或某批头条员工挖过去就能解决。如果是那样的话，快手和腾讯早就赶上头条了，不是吗？

        这里面复杂度与广告变现平台差距甚远，而国外在ads的积累也是完全不一样。国外推荐算法平台积累之弱，说是v2都算是乐观的说法了。

        如图所示，算法平台涉及的核心问题里的一些纲要，而里面多数优化绑定场景下不停测试实验，才能得出有效可落地的优化策略。paper只能提供思路参考。为什么？周级别并行十多个优化策略实验的结果，而paper周期是2～3周一个，而我从事8年左右算法优化，包括带着若干团队成员一起干，paper有收益的十不存一，常常无效到我都怀疑人生。