2021-01-18课堂检测二

一、环境要求

Hadoop+Hive+Spark+HBase 开发环境。

二、提交结果要求

1.必须提交源码或对应分析语句，如不提交则不得分。
2.带有分析结果的功能，请分析结果的截图与代码一同提交。

三、数据描述

meituan_waimai_meishi.csv 是美团外卖平台的部分外卖 SPU（Standard Product Unit ，
标准产品单元）数据，包含了外卖平台某地区一时间的外卖信息。具体字段说明如下：

四、功能要求

1.数据准备（10 分）
请在 HDFS 中创建目录/app/data/exam，并将 meituan_waimai_meishi.csv 文件传到该目录。并通过 HDFS 命令查询出文档有多少行数据。

-- 1.在 HDFS 中创建目录/app/data/exam   
hdfs dfs -mkdir -p /app/data/exam202009
-- 2.将 meituan_waimai_meishi.csv 文件传到该目录   
hdfs dfs -put meituan_waimai_meishi.csv /app/data/exam202009
-- 3.查询出文档有多少行数据                         
hdfs dfs -cat /app/data/exam202009/meituan_waimai_meishi.csv | wc -l

2.使用 Spark,加载 HDFS 文件系统 meituan_waimai_meishi.csv 文件，并分别使用 RDD和 Spark SQL 完成以下分析（不用考虑数据去重）。（50 分）
①统计每个店铺分别有多少商品（SPU）。

// 启动spark
spark-shell

// 读取数据
val rdd=sc.textFile("hdfs://hadoop001:9000/app/data/exam202009/meituan_waimai_meishi.csv")

-- Spark RDD:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(2),1)).reduceByKey(_+_).foreach(println)

或者:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(1),1)).reduceByKey(_+_).foreach(println)

-- Spark SQL：
// 导入包
scala> import org.apache.spark.sql._
scala> import org.apache.spark.sql.functions._
scala> import spark.implicits._
scala> import org.apache.spark.sql.types._

val meituanDF = spark.read.format("csv").option("header", true).option("inferschema",true).load("hdfs://192.168.247.201:9000/app/data/exam202009/meituan_waimai_meishi.csv")

scala> meituanDF.createOrReplaceTempView("meituantb")

scala> spark.sql("select shop_name, count(spu_name) from meituantb group by shop_name").show()

②统计每个店铺的总销售额。

-- Spark RDD
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(2), x(5).toDouble*x(7).toLong)).reduceByKey(_+_).foreach(println)

-- Spark SQL：
scala> spark.sql("select shop_name, sum(spu_price * month_sales) as totalMoney from meituantb group by shop_name").show()

③统计每个店铺销售额最高的前三个商品，输出内容包括店铺名，商品名和销售额，其
中销售额为 0 的商品不进行统计计算，例如：如果某个店铺销售为 0，则不进行统计。

-- Spark RDD
// 方式一：
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(","))
.map(x => (x(2), x(4),x(5).toDouble*x(7).toLong))
.filter(x => x._3 > 0).groupBy(x => x._1)
.map(x => {x._2.toList.sortBy(-_._3).take(3)}).collect.foreach(println)


// 方式二：
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(","))
.map(x => (x(2), x(4),x(5).toDouble*x(7).toLong))
.filter(x => x._3 > 0).groupBy(x => x._1)
.map(x => {x._2.toList.sortBy(-_._3).take(3).foreach(x => {println(x._1+"----"+x._2+"----"+x._3)})}).collect


// 方式三：
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(2), x(4),x(5).toDouble*x(7).toLong)).filter(x => x._3 > 0).groupBy(x => x._1).map(x => {
val restltArr = x._2.toList.sortBy(-_._3).take(3)
(x._1, restltArr)
}).collect.foreach(x => x._2.foreach(y => println(y._1+"----"+y._2+"----"+y._3)))

-- Spark SQL:
scala> spark.sql("select temp.shop_name,temp.spu_name,temp.money,temp.rn from (select shop_name, spu_name, spu_price*month_sales as money, row_number() over(partition by shop_name order by spu_price*month_sales desc) as rn from meituantb) temp where temp.rn < 4").show()	

3.创建 HBase 数据表（5 分）

在 HBase 中创建命名空间（namespace）exam，在该命名空间下创建 spu 表，该表下有1 个列族 result。

（1）在 HBase 中创建命名空间（namespace）exam     
create_namespace 'exam202009'

（2）在该命名空间下创建 spu 表，该表下有1 个列族 result
create 'exam202009:spu', 'result'

4. 请 在 Hive 中 创 建 数 据 库 spu_db ， 在 该 数 据 库 中 创 建 外 部 表 ex_spu 指 向/app/data/exam 下的测试数据 ;创建外部表 ex_spu_hbase 映射至 HBase 中的 exam:spu表的 result 列族（20 分）

// 启动hive metastore元数据服务                  
hive --service metastore &

（1）创 建 数 据 库 spu_db
create database spu_db;

（2）创 建 外 部 表 ex_spu 指 向/app/data/exam 下的测试数据
create external table if not exists ex_spu(
spu_id string,
shop_id string,
shop_name string,
category_name string,
spu_name string,
spu_price double,
spu_originprice double,
month_sales int,
praise_num int,
spu_unit string,
spu_desc string,
spu_image string)
row format delimited
fields terminated by ','
stored as textfile
location '/app/data/exam202009'
tblproperties("skip.header.line.count"="1");

（3）创建外部表 ex_spu_hbase 映射至 HBase 中的 exam:spu表的 result 列族
create external table if not exists ex_spu_hbase(
key string,
sales double,
praise int)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties('hbase.columns.mapping'=':key,result:sales,result:praise')
tblproperties('hbase.table.name'='exam202009:spu');

5. 统计查询（15 分）
① 统计每个店铺的总销售额 sales, 店铺的商品总点赞数 praise，并将 shop_id 和shop_name 的组合作为 RowKey，并将结果映射到 HBase。

insert into ex_spu_hbase
select concat_ws("-",shop_id,shop_name) as key,sum(spu_price*month_sales) sales,sum(praise_num) praise
from ex_spu
group by shop_id,shop_name

② 完成统计后，分别在 hive 和 HBase 中查询结果数据。

hive> select * from ex_spu_hbase limit 10

hbase> scan 'exam202009:spu'