大数据推荐系统算法（1）大数据框架介绍

大数据推荐系统算法（1）大数据框架介绍
大数据推荐系统算法（2） lambda架构
大数据推荐系统算法（3） 用户画像
大数据推荐系统（4）推荐算法
大数据推荐系统（5）Mahout
大数据推荐系统（6）Spark
大数据推荐系统（7）推荐系统与Lambda架构
大数据推荐系统（8）分布式数据收集和存储
大数据推荐系统（9）实战

大数据推荐系统算法工程师 项目实战

一、框架
大数据技术框架

hadoop生态系统：

HDFS Hbase 数据的存储
Flume kaflka 非结构化数据的收集 （日志形式）
Sqoop 结构化数据的收集

MapReduce 离线计算
Spark 内存计算

Hive Pig Spark SQL 结构化数据的访问
MLIb 推荐算法

Oozie 调度

Ambari 用户界面

Spark


redis基于内存的数据库
WEB 框架 用户看到，
Grafana 图形展示

二、系统的设计
推荐系统设计：

1.需求分析和用户调研

新用户：注册信息或者标签，

2.推荐功能设计

3.界面的设计

4.架构设计

5.算法设计

6.系统评测设计

A/B测试 用户分流，不同组用不同算法，再选最优的，

三、用户界面
要使用户能发聩自己的信息。
1.界面要有图片 （每部推荐的电影的封面）
2.引导词 反馈机制不一样
3.页面上推荐的内容不一样
4.差的推荐不如不推荐。好的设计可以弥补差的推荐，提高用户体验
5.挖掘长尾 （l流形和长尾的均衡）
6.新的呈现方法会对算法t提出新的要求

客观的评价：不同的评测指标：流行度，覆盖率等
烛光的评价：用户的评价