铭霏的记事本

深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布，MLlib 作为 Spark 负责机器学习 （ML） 的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法：研究主题分布的 latent Dirichlet allocation （LDA）、估计点集分布的高斯混合模型 （GMM）、提取频繁项集的 FP-growth、生成图聚类的 power iteration c

一篇去年的文章，但是写的很好。因此转载记录。 —————————————————————————————————— 最近一直在花时间研究和实现一些推荐算法，并且搭建系统在产品中进行测试。我读了一些关于Netflix等网站“如何使用Collaborative Filtering来预测用户对其他影片的打分”的文章，之前也曾在Pinterest目睹了Related Pin从传统的计算co-occ...

摘自：https://www.cnblogs.com/bonelee/p/7126144.html一，基于矩阵分解的推荐算法相关理论介绍 我们知道，要做推荐系统，最基本的一个数据就是，用户-物品的评分矩阵，如下图1所示 图1 矩阵中，描述了5个用户(U1,U2,U3,U4 ,U5)对4个物品(D1,D2,D3,D4)的评分(1-5分)，- 表示没有评分，...

MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 例如：假设有两个主题，主题1有4个相关网页，主题2有5个相关...

论文提要YouTube如今是工业界最大和最复杂的推荐系统之一，本文作者提出了一种高效的基于深度学习的推荐系统。该系统和工业界经典的推荐流程一样，系统分为候选集生成（也称为搜索或召回），排序两个阶段，这两个阶段分别使用了一个深度神经网络，本文从实践的角度对特征处理，模型训练和调优都有详细介绍。解决的问题YouTube是世界上最大的视频创作及分享平台，其视频推荐的面临的主要问题有： 1. 海量数据：现...

协同过滤是大家熟知的推荐算法。 总的来说协同过滤又可以分为以下两大类：Neighborhood-based：计算相似item 或user后进行推荐Model-based： 直接训练模型预测Rating在Neighborhoold-based算法中，又细分为user-based CF(Collaborative Filtering)和item-based CF。合适选择使用userd-b

推荐算法概览（一）为推荐系统选择正确的推荐算法非常重要，而可用的算法很多，想要找到最适合所处理问题的算法还是很有难度的。这些算法每种都各有优劣，也各有局限，因此在作出决策前我们应当对其做以衡量。在实践中，我们很可能需要测试多种算法，以便找出最适合用户的那种；了解这些算法的概念以及工作原理，对它们有个直观印象将会很有帮助。推荐算法通常是在推荐模型中实现的，而推荐模型会负责收集诸如用户

FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR和CVR预估，并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。前言在计算广告领域，点击率CTR（

https://www.jianshu.com/p/43db601b8af1https://www.jianshu.com/p/d35198c5bc23https://www.cnblogs.com/houkai/p/9316155.html晚上再整理