mysql好评中评统计_基于hadoop构建智能推荐系统：第1篇 用户行为数据分析并导出到hdfs...

这个分类 我主要想分享基于hadoop构建智能推荐系统的过程思路、程序设计和系统架构方面的一些技巧心得，至于hadoop、sqoop、hbase的安装和使用我就很少讲了，网上已经有不少这方面的文章了 mysql

让咱们直奔主题吧。 算法

1、 咱们要搭建一个智能推荐系统最重要的是什么呢？不是算法、也不是系统的自己，最关键是准确分析用户的行为数据，最终得出一个用户偏好表。有了这个用户偏好 表，咱们能够作的事太多了，好比计算用户的类似度、计算物品的类似度、把用户按照行为进行聚类。。。可是这一切的前提都必须有一个“用户偏好表”(如图表1-1)。 sql

图表1-1用户偏好表 shell

Uid(用户id) 数据库

Itemid(物品id) 架构

Preference(偏好值) app

Timestamp(时间戳) 框架

1001 分布式

1005 工具

4.5

123278545

1002

1008

3.5

123577865

1001

1008

5.0

123478588

2、(下面我将以视频网站的智能推荐系统为例子)

为了获得这样的一张表，咱们首先要对用户的行为进行分析，视频网站的用户行为通常为 观看记录、评分记录、顶/踩、评论记录。。。

咱们按照预先设定的权重(图表2-1)，将这些行为数据进行简单的权重相加，得出一个比较粗糙的偏好评分。

图表2-1行为权重(后面的行为记分覆盖前面的行为记分)

行为：

权重：

观看记录

每观看一次+2分若是看了3次以上直接给满分

顶/踩

顶记3分踩记1分

评论记录

对评论内容关键词进行智能分析

中评记3.5分差评记1分好评记4.5分

评分记录

打多少分就是多少分

3、好了，经过上面这两步分析，咱们已经知道咱们须要什么样的数据了，固然也知道这些数据通常都存放在传统的数据库中(如mysql)，可是 这些数据一般都是海量的，增加极快的，因此咱们最好把这些行为数据导出到hadoop的hdfs文件系统中(或hbase中)，这样就能够很方便的使用hadoop的分布式计算框架去处理这些数据了。不过问题又来了，因为数据是海量的，不断增加的，咱们不能每次计算都将所有数据进行从新导入，这样mysql会鸭梨很大的，因此咱们必需要作增量导入，第一次导入全部的数据，第二次开始只导入后来增加的数据。

4、下面介绍一个解决这个问题的强大工具：sqoop。Sqoop支持mysql、hdfs文件、hbase、hive之间的导入导出，还能够实现增量导入。

好比我要将 观看记录 从mysql导出到hdfs中：这是Shell脚本：(注意这个脚本可能有错我临时写的，但思路确定是对的，你们本身调吧哈哈)

ConnectURL=jdbc:mysql://localhost:3306/user_action

UserName=root

PassWord=123456

OutputPath=/hdfs/recommend/user_action/watch_record

TableName= watch_record

Columns=id,uid,mid,timestamp

IfJobCreated =`sqoop job list | grep import_ watch_record`

#检查import_ watch_record这个job是否已经建立 若是未建立则建立

if [ $IfJobCreated = ’’ ] then

sqoop job import_ watch_record /

--create --import /

--connect $ConnectURL/

--username $UserName/

--password $PassWord/

--target-dir $OutputPath/

--m 1/

--table $TableName/

–columns $Columns/

--incremental append/

--check-column id/

--last-value 0

fi

sqoop job --exec import_ watch_record

5、若是watch_record这个表作了大量的分表分库设计怎么办呢？

很简单把上面的shell写个循环就ok了

这样行为数据的导入工做就完成了，下一篇我将分享利用hadoop的map-reduce计算框架分析用户行为数据，最终得出咱们想要的用户偏好表

Ps：欢迎你们加q群讨论325317874