推荐系统实践小结

之前对于推荐，一直都仅限于理论书籍，浅一点像《集体智慧编程》《推荐系统实践》，复杂的像《数据挖掘》《机器学习》，当然也没看太深入。
当时对推荐系统的看法是，这是一个以算法为核心 的系统，一切价值体现都在算法模型上了。不过这段时间有幸参与到真实系统，稍有改观。
下最近的一些想法吧，当然 作为一个系统开发人员，理论算法方面的理解可能有点偏颇。

1.业务永远是第一位----------我们的本质是销售。

话说做推荐，和做营销的本质区别是什么？

还要说下销售和市场的区别，我个人理解市场和营销的区别在于市场是偏向于整体（如何定价，产品面向人群，广告投放），

而营销是偏向于个体（销售人员怎么卖）。所以推荐属于销售，产品规划和设计才是市场的事情。

宽泛的销售，相当于在大街上发传单。那么精准推荐就是说给你一个性化的解决方案，vip的服务。

因为计算机的copy能力是低成本的， 而大数据处理能力刚好能将这种vip服务低成本的扩散到网络世界的每个长尾客户身上。

精准营销的目的是提高成单率，而精准推荐借助网络的长尾 理论，不仅仅提高了成单率，也做大了盘子

继续聊业务逻辑。既然是卖东西，那么就从卖东西往下说，假设你是购物中心的一个小门店老板。

点击就是在广场中流动的人群，人潮涌动中，我们不断地吆喝着“快来看一看，买一买啊，走过路过不要错过啊”，那么你要注意什么：

第一个，作为一个老板，你要知道你产品的面向人群----------------用户分析。

三大哲学问题，你是谁，你从哪里来，又将要到哪里去？

对应下来就是用户画像分析，来源统计分析，效果统计（其实这里要包括崩失率，去 向，转化率等）。

第二个，作为一个老板，你要知道季节潮流，进货渠道---------------热度。

每一个商品都是有其周期性的，而季节潮流对于小店可能至关重要。这里就设计到行为数据的统计（商品的浏览，曝光，点击，购买）。

如果熟知各种排行榜的热点，就清楚热度是需要衰减的，这可能用到一些算法：

牛顿冷却,贝叶斯平均，威尔逊区间。我也细讲不了算法层面的东西。

第三个，作为一个老板，你要熟悉店里的商品属性，懂搭配------------物品相关性

你要整理好商品详细目录。你要知道那一款上衣配那一款裙子比较合适。

涉及到相关性算法。怎么计算相关性，可以看皮尔逊系数，余弦等。

至于计算的维度，就跟商品相关了，比如化妆品，那么品牌的权重就需要调大。

第四个，作为一个老板，你要有一个老顾客电话本-------------------个性化

小店家是需要维护每一个顾客的联系方式，长时间不来，你要电话问下，对应下来就是定期邮件营销（EDM）。

如果你是大商家，那你只好分人群了，不然成本太大。

第五个，作为一个老板，你要招揽新顾客计划-----------------------社交化

虽然推荐本身就是个大的广告形式。但是你只在门口卖吆喝肯定是过时了，星巴克真功夫优衣库这种传统企业都开始微博微信营销了。

作为一个电商企业没有理由不用这种形势扩大自己的影响圈。

对应的就是基于SNS的推荐，当然隐私问题另论。

第六个，作为一个老板，你要知道店里的状况，为下步作参考------------数据闭环。

最重要的概率，没有之一，数据要形成闭环。

任何数据如果不形成闭环，是难于往下发展的。形成闭环后，整个系统才算完整搭建，当然如果到最后，这步能交给机器学习来实现，就完美了。

这里涉及到，ctr，转换率，成交金额。转换率是电商的重要指标，这些行为分析是提升未来销售的关键。

2.数据是第二位。

信息熵的定义是对不确定性的度量。强调的是不确定性，如果你知道明天要下雨，那么数据告诉你要下雨的信息熵就是0。

信息是有用的，但是数据不一定是有用的。从数据到信息的过程就是一个解码的过程，而业务逻辑就是数据的编码方式。

现在是大数据时代，每天弄个几T，几P数据存储下来，意义有多大（说的是数据挖掘，用来容灾备份的话另说），
如果告诉的都是我们已知的事情，那么就没有意义。

每一个公司最了解数据的肯定是其CFO，底层的财务会计等，但是谁敢说自己比老板清楚这个公司？

财务报表大家也能看，但是财务报表是不了解公司的终点，而是起点，是为了更深入了解公司的。

我们常说领导的视野会更高一点，反过来的意思就是我们懂数据，但是不懂业务，不懂商业，不懂管理。

业务，管理是皮，数据是毛，皮之不存,毛将焉附。

接下来说推荐系统的数据：

第一，用户数据

这个是基础数据，推荐系统存在之前就已经有了。
网站分析里做的就是人群细分，电商也是网站，这里涉及到的维度其实都是现实世界的映射：
年龄，性别，地域，兴趣，收入等等

第二，商品数据

这个也是基础数据，推荐系统存在之前就已经有了。没什么好讲的，就是品牌，价格等

第三，行为数据

这个是串联数据，将第一部分和第二部分关联起来。

包括用户和用户之间关联，商品和商品之间关联。

其实这三个数据以前的商业社会里都有，但是传统时代靠的是人脑和记事本，容量有限。

而一个好的商家是将这些数据带来的信息用到极致。

回想一下推荐系统经历的几个时代（可以看我前面的《 集体智慧之概念介绍  》）

基于人口统计的推荐时代：这个时候靠的是历史，地理知识来关联人和人之间的信息，这里提信息的是统计数据，以及几千年来的历史地理知识。

基于商品内容的推荐时代：这个时候靠的就是产品专家们的人工分类， 这里提供信息熵的是专家们的专业知识。

协同过滤时代： 靠的是我们每次点击，带来的隐含信息。点击就是人和商品之间的关系， 点同一个商品就是人和人之间的关系。

一句话， 我们主要要找的信息就是用户和用户之间的关系，商品和商品之间的关系，用户和商品之间的关系。

无论你用什么方式，用什么样的数据，你最后要得到的信息无非就这么几个维度。我们就是围绕这几点去竭尽所能地挖掘信息，并利用好。

3.算法是第三位

某位google的工程师曾说过： 简单的算法+大量的数据  要远好于(>>)   复杂的算法+少量的数据。

看业界这几年，无论是豆瓣，亚马逊，淘宝，都在提精准推荐，还有热火的不能再热火的大数据。

似乎这个行业应该算是蓬勃发展了吧，可是细细看来，算法模型其实发展有限。大家挂在口边的还是协同过滤，社交化推荐。

这里说下自己的一个教训：

在实现系统的时候，因为有大量的计算和读取操作，为了节省一点cpu和内存，网络开销，就搞了个很复杂的算法，需要保存很多的中间数据结果。

实现文档写了几页，然后代码写了2000多行，实现后跑起来，性能上倒是没有什么问题的。

但还是碰到一个问题，没法跟踪数据。

做效果优化的时候，你是需要不停的从头到尾看数据的，看到底是哪个环节出了问题。结果太多的中间结果，而且是小的错误会被累计放大，

人反被系统整崩溃了。最后就改为简单实现方式（会很耗性能）， 但是做好数据的去噪后（不得不说这个环节相当重要），性能上也没有问题了。

业界这么多做算法的大牛，当然也是极其厉害的，不过越复杂就会要求特定的场景，这个对我等来说还是没有优化1,2来的迅速。

4.系统性能是第四位

系统同技术一样，只是解决问题的工具，不以解决问题的牛逼技术都是耍流氓。

举个例子，股票的程序化交易，相信很多做技术的人都能实现。但是如果没有一个有效的买卖规则，越实时越高效，可能亏损的越惨。

这里也是，如果你业务逻辑理不清，数据清洗不干净，样本抽取的有问题，系统是帮不了你的。当然做好了前面三样，性能就要考虑了。

第一点，无限大。 

这意味着无限细分， 也扩大了将整个市场盘子（长尾嘛）。

现亚马逊CEO Jeff Bezos的梦想“如果我有100万个用户，我就为他们做100万个亚马逊网站”。

越细分，理论上效果会越好。只是开发人员不能不考虑成本。
其实你考虑一下就会发现一个事情， 你想个性化，但是用户却想跟 随潮流，你无限 细分的意义呢？

第二点，实时

做到了细分，你肯定要考虑实时性，理论上也是越实时，效果越好。

作用有多大，这个看业务和用户群。

阈值是多少，这个也看业务和用户群。

但是想信不会有人把商品属性这个也来实时实现的。也不会说我们要求推荐数据的更新级别达到毫秒级。

你可以有变态的系统，但是你不希望有变态的用户吧？

总言之，系统总是根据你的用户来定义的。btw，安全不属于性能问题，推荐系统防恶意干扰不在性能讨论范围内。

转载:http://blog.chinaunix.net/uid-14874549-id-3868881.html