【统计技术】关联分析_推荐系统

 

 

     关联分析与推荐系统  Association Analysis & Recommender   Systems

By 大路

  主要内容

  推荐系统概念

推荐系统将成为未来十年里最重要的变革，社会化网站将由推荐系统所驱动。

                    —— John Riedl （明尼苏达大学教授，GroupLens核心成员）

 

网站正从一个搜索时代进入一个发现时代。他们的区别是，搜索是你明确知道需要什么东西；发现是说你并不十分清楚的知道一种东西存在，或者你并不清楚怎么样才能找到这种东西。而搜索时代创造了市值1500亿美金的google。

                                                                                             —— 《财富》杂志

 

调查显示，45％的用户更加喜欢到有产品推荐功能的网站上去购物，而在过去6个月里花费了￥1000以上购买商品的用户里，这个数字提高到了69％。同一 个调查显示，41％的用户更加关注符合他们口味的个性化广告。新闻媒体网站通过显示个性化的相关内容来提高用户的阅读兴趣。

                                                                                 —— Choice Stream survey

 

 

 推荐系统概念

推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助各类网站/服务为其用户提供完全个性化的决策支持和信息服务。

 

搜索引擎在于查找，推荐系统/推荐引擎在于发现。

 

   推荐系统/引擎的基本流程（动态闭环）

  应用范围（不仅仅是电子商务）

   应用示例1：卓越网商品推荐

   应用示例2：豆瓣网电影推荐

   应用范围

当前暂无类似搜索引擎量级的独立产品形态

 

专业推荐引擎公司：Directededge、 Baynote、Hunch、Clicktorch

 

当前主流应用：推荐引擎内置于其它产品中

 

有形产品：电商类网站、文化用品等评论推荐网站（dangdang、douban、xiami)

社交网络：拥有用户关系链数据（社交图谱）的网站（facebook、twitter)

新闻内容：根据用户点击历史及反馈推送新闻/博文（iCurrent、GoogleReader）

其它（如招聘求职等）

 

应用范围（媒体性产品）

 

什么样的产品适合推荐（媒体性产品）

 

多样性（物品足够多，用户无法一一查看）

口味重要（用户口味各异，物品长尾显著，靠热门排行榜推荐无法解决）

纯粹性（单一物品相关属性不太复杂，利于精准推荐）

大众产品（用户多，规模化，利于推荐）

时效性较低（时效性过高则产品更新快，如新闻推荐，推荐数据需要不断更新）

容易反馈（推荐引擎需要根据用户反馈结果不断学习和改进）

条目增长比较稳定（条目增长过快，则新增数据量过大，调整压力增大）

 

   新浪微博的推荐（  ）

   主要推荐算法

技术领域：自然语言处理、人工智能、机器学习、概率统计等。

 

 主要推荐算法（分解子算法）

  主要推荐算法（分类）

   主要推荐算法（详述）

关联推荐 Association Analysis（购物篮分析,啤酒与尿布 diaper & beer）

统计/规则（Apriori算法、FP-tree等）

 

基于内容/属性等 Content-based/Featured-based

 

Content-based: 需要处理如文本内容等，与搜索引擎建立索引类似（如TF-IDF）

Featured-based: 通过相关特征属性来定义物品，以其属性替代物品本身

Tag-based: 通过用户对物品添加的标签来分析物品

Topic-based(Topic model): 对物品作简单分类，涉及到文本分类算法如贝叶斯网络等

 

   主要推荐算法

协同过滤 Collaborative Filtering

User_based/Item_based: 主要是根据用户对物品的评价进行推荐，基本不涉及对物品的分析。

类似KNN算法（还有SVD、RBM等），其核心在于定义距离（N-范数、内积等）。

 

混合算法及其它

将上述几种算法结合起来应用。事实上，真正应用时很难由单独一种算法给出精准的推荐。而且，上述每一种算法实际上是一类算法，比如CF分item/user_based，定义不同的距离可能会对结果造成较大影响。

一些仍处于学术研究中的算法，未经工商业界的应用检验。

一些大公司可能正在使用但未公开的算法。

 

   关联分析（购物篮分析）

 

Aprior算法

关联规则的挖掘就是在事务数据库D中找出具有用户给定的最小支持度minsup和最小置信度minconf的关联规则。

 

如果项集的支持度超过用户给定的最小支持度阈值(minsup)，就称该项集是频繁项集或大项集。

 

Apriori算法是挖掘布尔关联规则频繁项集的算法。

 

Apriori性质：频繁项集的所有非空子集也必须是频繁的。

 

算法主要步骤

连接：Lk-1项生成Ck项

剪枝： Ck项剪枝得到Lk项

 

   Aprior算法示例

CF算法（协同过滤）

矩阵填补问题（极度稀疏）

           给定矩阵的少部分元素，预测其它未知元素的值

 

相似性度量：欧式距离（N-范数）、Pearson相关系数等

 

   主要推荐算法（优缺点分析）

关联推荐

传统、成熟，但不大适合多样化长尾性产品。

 

基于内容/属性

传统、成熟。但很多时候不易提取属性和类别。举一反三能力较强，但很难给出惊喜。

 

协同过滤

在难以分析物品内容时很实用。但过于依赖用户交互，面临冷启动、稀疏性等问题。

 

混合算法等

具体情况需具体分析。

 

  当前存在问题

在推荐系统上应用最广的是协同过滤，一般大家公认有如下三大问题。

 

 

  当前存在问题（求解之道）

 

稀疏性

教育鼓励用户多参与评分、反馈。

结合其它推荐算法

 

冷启动

扩展数据源（火星人来了，地球上没有其相关历史数据，那就从火星上找）

需要时间来积累（教育鼓励用户多参与评分、反馈）

使用基于内容/属性的算法

 

可扩展性

降低存储空间

近似算法/分块

并行/分布式计算

离线与在线

 

  其它问题

 

用户有偏及恶意打分、噪音等（ A用户偏向于给高分，B用户偏向于给低分）

需要进行纠偏（究竟是有偏？还是用户对不喜欢的产品就不打分？）

怎样鉴别恶意和噪音

 

隐私问题（用户不愿意显式提供一些个人喜好的信息）

 

明确隐私数据与非隐私数据。用户教育要给力点。让用户了解推荐系统的原理，不提供相关信息是很难得到精准推荐的。除了评分外，还要鼓励用户对推荐结果给出反馈（like | dislike | skip等)。

 

注意收集和使用隐式反馈数据。比如用户打开了哪些页面，停留时间多长等。

 

  推荐系统的未来

 

推荐系统/引擎能否像搜索引擎一样具有独立的产品形态？

 

推荐系统会成为诸多网站的标配，融入其产品中。

 

技术演进（越来越智能）

 

云计算 Cloud Computing（可改进数据扩展性问题）

 

OpenID (可打通各个产品，共享数据，改进冷启动问题）

 

语义网 Semantic Web（可使机器和算法对物品的理解更深刻，提高推荐准确度）

……

 

  附：相关网站和书籍

http://groups.google.com/group/resys

 

http://www.grouplens.org/

 

http://xlvector.net/blog/

 

http://www.guwendong.com/

 

Personalization Techiques and Recommender Sysyems

 

Web Personalization in Intelligent Environments

 

Programming Collective Intelligence

 

Manning Collective Intelligence in Action

 

……

 

 

本文原创自无线技术运营空间： http://wireless.qzone.qq.com 及 http://blog.csdn.net/wireless_tech （专注无线技术运营——无线技术(操作系统/数据库/WEB前端/负载均衡/系统容灾/系统安全/短信接入/WAP接入/3G等)、无线业务运营、无线开放平台、统计分析(用户行为分析/数据挖掘)、CP合作，联系我们：1780551083@qq.com）