2019年07月_冰阔落

转载 Building a Recommendation Engine with Spark and EMR

Building a recommendation engine from scratch has been a difficult but rewarding experience. I wanted to incorporate song recommendations based on users’ listening habits in 33 RPM (update: sadl...

2019-07-26 16:13:12 540

转载 UCB公式的理解

UCB公式的理解在解决探索与利用平衡问题时，UCB1 策略是一个很有效的方法，而探索与利用平衡问题中最经典的一个问题就是多臂赌博机问题（Multi-Armed Bandit）。图来自[1]问题假设：按下摇臂后的回报取值为 1 或 0，每个摇臂获得回报的概率服从不同的分布，但事先并不知道问题目标：按照某种策略来按压摇臂以获得最大的累计回报（咦，这不就是强化学习的目标嘛）在这个问题中，探...

2019-07-25 11:49:21 1134

转载 bandit 算法原理及 Python 实现

Bandit算法是在线学习的一种，一切通过数据收集而得到的概率预估任务，都能通过Bandit系列算法来进行在线优化。这里的“在线”，指的不是互联网意义上的线上，而是只算法模型参数根据观察数据不断演变。以多臂老虎机问题为例，首先我们假设每个臂是否产生收益，其背后有一个概率分布，产生收益的概率为p我们不断地试验，去估计出一个置信度较高的概率p的概率分布就能近似解决这个问题了。...

2019-07-24 14:59:16 709

转载如何用3个月零基础入门机器学习？

来源 | 微调的知乎专栏▌0. 背景写这篇文章的初衷是大部分私信我的朋友都想了解如何入门/转行机器学习，搭上人工智能这列二十一世纪的快车。再加上这个问题每隔一阵子就会在知乎时间线上出现一次，因此想写一篇文章来“一劳永逸”的分享我的观点。文章的宗旨是：1. 指出一些自学的误区 2. 不过多的推荐资料 3. 提供客观可行的学习表 4. 给出进阶学习的建议。这篇文章的目标读者是计划零基础自...

2019-07-24 11:30:46 256

近年来，机器学习在搜索、广告、推荐等领域取得了非常突出的成果，成为最引人注目的技术热点之一。微博也在机器学习方面做了广泛的探索，其中在推荐领域，将机器学习技术应用于微博最主要的产品之一——热门微博，并取得了显著的效果提升。热门微博推荐系统介绍热门微博业务场景热门微博是基于微博原生内容的个性化兴趣阅读产品。提供最新最热优质内容阅读服务，更好地保障用户阅读效率和质量，同时达到激励微博上内容作者更好的...

2019-07-24 11:03:35 399

转载推荐系统老司机的十条经验

本文来源微信公众号：ResysChina，版权归原作者所有，未经作者同意，请勿转载。原文：推荐系统老司机的十条经验作者：陈开江@刑无刀，金融科技公司天农科技CTO，曾任新浪微博资深推荐算法工程师，考拉FM算法主管，先后负责微博反垃圾、基础数据挖掘、智能客服平台、个性化推荐等产品的后端算法研发，为考拉FM从零构建了个性化音频推荐系统。欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc...

2019-07-24 10:02:54 307

转载 Bandit算法与推荐系统

作者简介：陈开江，天农科技CTO，曾任新浪微博资深算法工程师，考拉FM算法主管，个性化导购App《Wave》和《边逛边聊》联合创始人，多年推荐系统从业经历，在算法、架构、产品方面均有丰富的实践经验。责编：何永灿，欢迎人工智能领域技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net 本文为《程序员》原创文章，未经允许不得转载，更多精彩...

2019-07-23 17:30:36 421

转载 LTV预测模型：如何实现高质量用户增长

目前，在APP的海外广告推量领域，如何进行高质量的推量投放以达到用户持续性增长的目标，是行业的普遍痛点。每个国家的CPI不同，到底哪些国家值得推量？同样的国家，为什么不同推量日期的用户次日留存率差异如此之大？不同类型（工具类，游戏类等）的APP推量变现效果截然不同，如何找到一套适合自己APP类型的推量评估方法？每次的推量就像一场场丢硬币，赚不知其所...

2019-07-23 13:41:08 17944 3

转载李滔：搜狐基于Spark的新闻和广告推荐实战

问题导读1.如何建立用户兴趣标签？2.如何对用户兴趣的评估？3.什么是ctr预测？4.计算新闻相似度是用什么算法？摘要：对一个媒体网站来讲，一个比较重要的任务就是获取用户对于不同类型文章的兴趣分布。用户的兴趣分布会被作为用户属性标签，和其他类型的标签（例如人口属性等）一起用作推荐的模型特征。继“YARN or Mesos？Spark痛点探讨”、“Mesos资源调度与管理的深入分享与交流...

2019-07-22 15:36:20 799

转载基于用户的协同过滤算法在显式、隐式反馈数据中的评估比较

目录一、问题描述二、算法描述三、评价指标四、实验结果五、总结一、问题描述实现基于用户的协同过滤（UserCF）算法，以TopN的推荐方式，分别在显式和隐式反馈数据集中进行评估和比较。实验采用Grouplens团队提供的公开数据集Movielens-latest-small，包括671个用户对9...

2019-07-18 13:28:48 1427

转载腾讯QQ大数据：机器学习建模问题中的特征构造方法

导语在机器学习建模问题中，合适特征的构造对于模型的性能至关重要，看到很多同学介绍特征工程，包括特征的预处理和特征筛选等，这些非常重要，但是特征预处理和特征筛选的前提是要有基础特征，而这些特征从哪里来，又如何构造？现在总结一下在推荐系统中比较通用的特征构造方法。场景分析：推荐场景一般可以抽象为：内容（Item）和受众（User），其中内容主要是指要推荐的Item，在购物场景中Item就是商...

2019-07-17 14:01:09 477

转载腾讯QQ大数据：神盾推荐——MAB算法应用总结

导语：在推荐领域，用户或物品的冷启动，以及如何使推荐结果更加多样的问题在很多实际应用场景中都会遇到。本文主要讲述了神盾推荐在腾讯内部业务场景中，使用MAB方法来解决这两个问题的经验总结，同时本文也较为简单的对MAB问题做了综述性介绍，希望能够帮助到大家。1问题1.1 某业务拉新场景—冷启动决策问题拉新场景是指在大流量业务场景中投放拉新业务的相关优质内容，从而吸引用户访问，快速增加用...

2019-07-17 14:00:16 3923

转载腾讯QQ大数据：用户增长分析——用户流失预警

1，前言：针对用户增长分析这个课题，本文主要从用户防流失的角度，阐述如何基于QQ社交网络数据构建用户流失预警模型，找出高潜流失用户，用于定向开展运营激活，从而有效控制用户流失风险，提升大盘用户的留存率和活跃度。本文所涉及到的分析框架和方法论等具有较强的通用性，可供有需要的同学了解参考。2，分析背景“根据美国贝恩公司的调查，在商业社会中5％的客户留存率增长意味着公司利润30％的增长，而把产品...

2019-07-17 11:53:24 8821

转载腾讯QQ大数据：相关推荐之反浩克装甲

写在前面本文介绍了神盾推荐系统中基于热传导模型的相关推荐模块. 神盾推荐系统是 SNG 数据中心立身 QQ 大数据构建的通用化推荐平台. 服务于应用宝, 手Q手游推荐, 企鹅 FM 等多个应用场景, 为业务方提升收入, 提高用户体验做出巨大贡献.代号说明神盾的基于热传导模型的相关推荐模块的代号是 “反浩克装甲” (Hulk Buster), 来源于”复仇者联盟2” 中钢铁侠开发用来对抗...

2019-07-16 18:09:24 742

转载腾讯QQ大数据：从用户行为去理解内容-item2vec及其应用

导语在内容推荐系统里，一个常用的方法是通过理解内容（挖掘内容属性）去挖掘用户的兴趣点来构建推荐模型。从大多数业务的效果来看，这样的模型是有效的，也就是说用户行为与内容是相关的。不过有一点常被忽略的是：相关性是对称的！这意味着如果可以从内容属性去理解用户行为，预测用户行为，那么也可以通过理解用户行为去理解内容，预测内容属性。相关性是对称的在内容推荐系统里，一个常用的方法是通过理解内容（挖掘...

2019-07-16 17:56:37 658

转载海量短文本场景下的去重算法

最朴素的做法在大多数情况下，大量的重复文本一般不会是什么好事情，比如互相抄袭的新闻，群发的垃圾短信，铺天盖地的广告文案等，这些都会造成网络内容的同质化并加重数据库的存储负担，更糟糕的是降低了文本内容的质量。因此需要一种准确而高效率的文本去重算法。而最朴素的做法就是将所有文本进行两两比较，简单易理解，最符合人类的直觉，对于少量文本来说，实现起来也很方便，但是对于海量文本来说，这明显是行不通的，因...

2019-07-16 15:27:26 2235 2

转载腾讯QQ大数据：一种海量社交短文本的热点话题发现方法

随着社交网络的发展和积累，内容的产生、传播、消费等已经根深蒂固地融入在人们的生活里。随之内容分析的工作也就走进了人们的视野。近年来，各种公众趋势分析类产品涌现，各大公司都利用自身资源纷纷抢占一席之地。公众趋势分析平台利用自然语言处理、机器学习方法对数据进行分析，给用户提供舆情分析、竞品分析、数据营销、品牌形象建立等帮助。其中，热点发现问题是公众趋势分析中不可或缺的一部分。热点发现通过对海量数据...

2019-07-16 12:00:51 650

转载用户增长分析——用户分群分析

导语在产品的增长分析当中，想关注符合某些条件的一部分用户，不仅想知道这些人的整体行为（访问次数，访问时长等），还希望知道其中差异较大的细分群体。用户分群方法，能帮助我们对差异较大的群体分别进行深入分析，从而探究指标数字背后的原因，探索实现用户增长的途径。一、用户分群的应用场景在日常的数据工作中，我们经常接到这样的需求：想关注符合某些条件的一部分用户，不仅想知道这些人的整体行为（访问次数，访...

2019-07-16 10:19:18 10554

Bingo