给我一点温度

2016年DeepMind开发的AlphaGo在围棋对决中战胜了韩国九段选手李世石，一时成为轰动全球的重大新闻，被全球多家媒体大肆报道。AlphaGo之所以取得这么大的成功，这其中最重要的技术之一是深度学习技术。经过这几年的发展，深度学习技术已经在图像分类、语音识别、自然语言处理等领域取得突破性进展，甚至在某些方面(如图像分类等)超越了人类专家的水平。深度学习技术驱动了第三次人工智能浪潮的到来。...

抖音推荐算法究竟如何是做抖音短视频运营的同学非常关心的问题，抖音官方并没有披露正式的算法，但凭借着民间的智慧和官方披露的部分信息中，网友已经总结出抖音推荐算法的秘密。这里整理资料如下：1. 发布后的推荐流程第0步：双重审核在抖音，每天有数量庞大的新作品上传，纯靠机器审核容易被钻空子，纯靠人工审核又不太现实。因此，双重审核成为抖音算法筛选视频内容的第一道门槛。机器审核（检测是否违...

YouTube 视频推荐系统为什么那么强？看了这篇文章你就知道了作为全球主流的视频平台，谷歌旗下视频网站 YouTube 的成功离不开精准的视频推荐系统。YouTube 的推荐系统有何亮点？他们解决了哪些问题？在一篇 RecSys 2019 论文中，谷歌研究者对这些问题做出了解释。来自荷兰的一位数据科学家对论文的内容进行了总结。论文地址：https://dl.acm.org/cita...

在例如Netflix或MovieLens这样的推荐系统中，有用户和电影两个集合。给出每个用户对部分电影的打分，希望预测该用户对其他没看过电影的打分值，这样可以根据打分值为其做出推荐。NMF（non-negative matrix factorization）的基本思想可以简单描述为：对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵U和一个非负矩阵V，将一个非负的矩阵分解为左右...

作者：周国睿，阿里巴巴高级算法专家。推荐系统和搜索引擎一直是比较火热的技术，因为离商业化比较近。她们是互联网领域两个衣着光鲜的美人，小腰一扭就是钱的味道。这几年凭借着两个红利：1. 互联网行业的经济红利，2. 硬件技术突破触发对深度学习带来的技术红利，推荐系统的效果有了比较明显的提升。工业界的技术，从传统的人工先验特征设计组合 + 线性模型（如 logistics regression...

传统的推荐算法，比如协同过滤算法，往往都是在单一的情景下、对固定的用户和商品集合的推荐。然而，在一个Web应用中往往存在多个需要进行推荐的场景。比如在淘宝APP中，经常会有不同的分页面来展示满足不同需求的商品，每个分页面都需要向用户提供个性化的推荐来最大化用户的购买行为。同时，不同推荐场景的背景信息对提供推荐可能非常关键。比如在双11购物节，用户为了“拼单”会购买很多平常不会购买的商品。在这种场景...

目录一、常见的推荐算法原理（时间、位置影响）（一）、基于内容的推荐（二）、基于用户的协同过滤算法（三）、基于物品的协同过滤算法（四）、基于标签的推荐（五）、隐语义模型 LFM（六）、社会化推荐（七）、根据时间上下文推荐（八）、基于地理位置的推荐二、推荐系统的冷启动问题三、推荐系统的架构四、推荐系统的度量什么是好的推荐系统：推荐系统的评价...

今日头条的走红带动了 “个性化推荐” 的概念，自此之后，内容型的产品，个性化算法就逐渐从卖点变为标配。伴随着 “机器学习”，“大数据” 之类的热词和概念，产品的档次瞬间提高了很多。而各种推荐算法绝不仅仅是研发自己的任务，作为产品经理，必须深入到算法内部，参与算法的设计，以及结合内容对算法不断“调教”，才能让产品的推荐算法不断完善，最终与自己的内容双剑合璧。1. 算法的发展阶段个性...

在个性化推荐系统中，如果能在提高推荐准确性的同时生成高质量的文本解释，将更容易获得用户的 “芳心”。然而，现有方法通常将两者分开优化，或只优化其中一个目标。为了同时兼顾二者，微软亚洲研究院社会计算组结合认知科学的相关理论，提出了基于互注意力的多任务模型，并用充分的实验证明了模型的有效性。近年来，个性化推荐系统极大地提升了用户遴选信息的效率。人们期望推荐系统能够掌握用户喜好，准确推荐用户感兴...

推荐系统目前推荐技术的应用已经非常较普及了，新闻、商品、问答、音乐，几乎都会用到推荐算法来呈现内容。下面是淘宝、知乎、微博三个 app 首页，可以看到推荐都处于非常重要的位置。在介绍推荐算法评测之前，先简单介绍一下推荐系统的流程。推荐一般包含以下步骤：召回 --> 打分排序 --> 输出召回召回阶段通常的手段是协同过滤比较场景，也有使用 embedding 的方...

要评估一个策略的好坏，就需要建立一个对比基线，以便后续观察算法效果的提升。而Baseline算法的思想就是设立基线，并引入用户的偏差以及电影的偏差。在上式中，等式中的是待求的基线模型中用户u给物品i打分的预估值；等式右边的μ为所有用户对电影评分的均值；bu为user偏差（如果某用户比较苛刻，打分都相对偏低， 则bu会为负值；相反，如果某用户经常对很多片都打正分， 则bu为正值）；...

目录特征值与奇异值1）特征值2）奇异值推荐系统中的SVD算法SVD算法优缺点通过SVD对数据的处理，我们可以使用小得多的数据集来表示原始数据集，这样做实际上是去除了噪声和冗余信息，以此达到了优化数据、提高结果的目的。隐形语义索引：最早的SVD应用之一就是信息检索，我们称利用SVD的方法为隐性语义检索（LSI）或隐形语义分析（LSA）。 推荐系统：SVD的另一个应用就是...

在美国，有这么几个和豆瓣类似，主流网民经常访问的与电影有关的网站：专业存储电影信息兼职打分的IMDb（Internet Movie Database互联网电影数据库）、创立快二十年几经易手的烂番茄(Rotten Tomatoes)、专业网络购票副业打分的“美国猫眼”Fandango，以及专门聚合书籍和视听出版产品批评意见的Metacritic。随着互联网和社交网站的快速普及，这几个网站也形成了...

SlopeOne 算法基于评分的预测算法，本质上是基于项目（Item-Based）的算法。SlopeOne算法能够通过线性回归模型进行用户对item的评分预测，然后将预测评分最高的item推荐给用户。目录示例1示例2算法描述及公式适用场景算法的优缺点示例1下面引入一个简单的示例，表格描述了不同用户对物品的评分。用户 可乐鸡翅 红烧肉 小明...

在数据分析中，聚类是最常见的一种方法，对于一般的聚类算法(kmeans, spectral clustering, gmm等等)，聚类结果都类似下图所示，能挖掘出数据之间的类簇规律。数据User-Item评分矩阵常见于各社交平台的数据之中，例如音乐网站的用户-歌曲评分矩阵，新闻网站的用户-新闻评分矩阵，电影网站的用户-电影评分矩阵等等。在聚类分析中，也常常将数据计算成User-User的相...

Normal Predictor算法基于训练集的评分矩阵来预测空白评分的。首先假设整个评分的分布服从正态分布。也就是说处于中间位置的评分很多，打低分和高分的占比都很少。基于这种假设，预测值的期望和方差通过计算训练集的极大似然估计得到：其中是训练集评分的总数，代表真实的评分。得到评分的正态分布后，根据已经存在的评分，就可以预估还未产生的评分。Python实现方法如下：fro...

1 KNN1.1基本的KNN模型KNN(k-nearest neighbor)的思想很简单，就是解决评价未知物品U的问题，只需找k个与U相似的已知的东西，并通过k个已知的对U再对进行评估。假如要预测用户A对一部电影M的评分，根据kNN的思想，我们可以先找出k个对M进行过评分的相似用户，然后再用这些用户的评分预测用户A对电影M的评分。(user-based-KNN)又或者先找出...

KNNWithMeans基本的假设是用户和物品的评分有高低，考虑了每个用户打分均值或者每个item打分的均值，去除参考用户打分整体偏高和偏低的影响。基于用户相似度(user-based)和基于物品相似度(item-based)的计算公式如下：...

KNNWithMeans考虑到了每个用户的归一化z分数，用以消除打分的偏差。基于用户相似度(user-based)和基于物品相似度(item-based)的计算公式如下：

KNNBaseline考虑到用户打分的偏差，偏差计算时基于baseline。计算公式如下：

目录为什么说推荐系统的实时性是重要的？推荐系统“特征”的实时性客户端实时特征流处理平台的准实时特征处理分布式批处理平台的全量特征处理为什么说推荐系统的实时性是重要的？为了证明推荐系统实时性和推荐系统效果的关系，Facebook曾利用GBDT+LR模型和单纯的树模型进行过实时性的实验。上图中横轴代表的是模型训练结束到模型测试的时间间隔（天数），纵轴是损失函数Nor...

目录克服重重挑战情境 bandits 推荐个性化配图模型训练潜在的信息图像选择效果评估离线在线结论多年来，Netflix 个性化推荐系统的主要目标，是为用户在合适的时间推荐合适的视频。Nteflix 网站上每个分类页面下有成千上万部影片，用户账号达数十亿，为每个用户推荐最合适的视频是头等要事。但推荐系统能做到的不仅是这些。怎样让用户对你推荐的视频感兴趣？怎样...

目录1）线性加权融合法2）交叉融合法(blending)3）瀑布融合法4）特征融合法5）预测融合法6）分类器 Boosting 思想多模型融合算法可以比单一模型算法有极为明显的效果提升。但是怎样进行有效的融合，充分发挥各个算法的长处呢，这里总结一些常见的融合方法：1）线性加权融合法线性加权是最简单易用的融合算法，工程实现非常方便，只需要汇总单一模型的结果，然后...

1.1 推荐系统是怎么来的？随着信息技术（Information Technology）和互联网（Internet）的发展，人们逐渐从信息匮乏的时代走向信息过载的时代。对于内容生产者来说，需要思考的问题是如何使生产的信息受到用户的大量关注；对于用户来说，如何快速找到自己所需要的信息是很重要的。因此，有效连接内容生产者和用户是至关重要的。图1-1 推荐系统连接用户和内容生产者为了...