使用Spark框架进行网站用户购物分析
Spark大作业
一、目的
1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用;
2、了解大数据处理的基本流程;
3、熟悉数据预处理方法;
4、熟悉在不同类型数据库之间进行数据相互导入导出;
5、熟悉使用R语言进行可视化分析;
6、熟悉使用Eclipse或IntelliJ Idea编写Java程序操作HBase数据库
二、要求
1、对文本文件形式的原始数据集进行预处理
2、把文本文件的数据集导入到数据仓库Hive中
3、对数据仓库Hive中的数据进行查询分析
4、使用Sqoop将数据从Hive导入MySQL
5、使用Sqoop将数据从MySQL导入HBase
6、使用HBase Java API把数据从本地导入到HBase中
7、使用R对MySQL中的数据进行可视化分析
三、步骤
步骤一:本地数据集上传到数据仓库Hive
步骤二:Hive数据分析
步骤三:Hive、MySQL、HBase数据互导
步骤四:利用R进行数据可视化分析
1、分析消费者对商品的行为
2、分析哪一类商品被购买总量前十的商品和被购买总量
3、分析每年的哪个月份购买商品的量最多
4、分析国内哪个省份的消费者最有购买欲望