Spark个性化推荐算法

实战篇
1 项目技术架构

2 项目涉及关键技术
Redis：存储用户最近评测队列
Mongdb：BI可视化查询
Elastic Search：文本关键词模糊检索索引、类别完全匹配检索、More like this基于内容推荐api
Flume：实时评测数据采集
Kafka：采集数据中间消息通道 Kafka stream：消息转发中间管道
Spark：spark sql、spark stream、spark M数据统计、加载数据源引擎、机器学习模型
ScalaNLP：JAVA矩阵计算
理论篇
1 推荐系统的意义 - 解决信息过载
搜索引擎时代
分类导航：雅虎
搜索：谷歌、百度

个性化时代(提高用户粘度、增加营收)
系统自动推荐相关的东西：今日头条、豆瓣、电商

2 推荐系统的分类
基于人口统计学的推荐

基于内容的推荐

基于协同过滤的推荐

3 基于人口统计学的推荐
基于人口统计学的推荐机制（Demographic-based Recommendation）是一种最易于实现的推荐方法，它只是简单的根据系统用户的基本信息发现用户的相关程度，然后将相似用户喜爱的其他物品推荐给当前用户。

4 基于内容的推荐
4.1 定义
基于内容的推荐是在推荐引擎出现之初应用最为广泛的推荐机制，它的核心思想是根据推荐物品或内容的元数据，发现物品或者内容的相关性，然后基于用户以往的喜好记录，推荐给用户相似的物品。

4.2 算法流程
对于物品的特征提取——打标签（tag）
对于文本信息的特征提取——关键词
生成分词特征向量矩阵