阿里巴巴淘宝用户行为数据集，UserBehavior表实战分析

一、环境要求 Hadoop+Hive+Spark+HBase 开发环境

二、数据描述 UserBehavior 是阿里巴巴提供的一个淘宝用户行为数据集。本数据集包含了 2017-09-11 至 2017-12-03 之间有行为的约 5458 位随机用户的所有行为（行为包括点击、购买、加 购、喜欢）。数据集的每一行表示一条用户行为，由用户 ID、商品 ID、商品类目 ID、 行为类型和时间戳组成，并以逗号分隔。关于数据集中每一列的详细描述如下具体字段 说明如下：

三、功能要求 

1.数据准备（10 分）

1 请在 HDFS 中创建目录/data/userbehavior，并将 UserBehavior.csv 文件传到该目录。

2 通过 HDFS 命令查询出文档有多少行数据。

//先创建一个exam文件夹，将数据表放进去，并导入hdfs

[root@gree2 exam]# hdfs dfs -mkdir -p /data/userbehavior/

[root@gree2 exam]# hdfs dfs -put ./UserBehavior.csv /data/userbehavior/


[root@gree2 exam]# hdfs dfs  -cat   /data/userbehavior/UserBehavior.csv  | wc -l

2.数据清洗

1) 请在 Hive 中创建数据库 exam

hive> create database exam;

2) 请在 exam 数据库中创建外部表 userbehavior，并将 HDFS 数据映射到表中

create external table if not exists userbehavior(
    user_id int,
    item_id int,
    category_id int,
    behavior_type string,
    time bigint
)
row format delimited fields terminated by ","
stored as textfile