【考试真题】2020年9月份机试试卷

一、环境要求

Hadoop+Hive+Spark+HBase 开发环境。

二、提交结果要求

1.必须提交源码或对应分析语句，如不提交则不得分。
2.带有分析结果的功能，请分析结果的截图与代码一同提交。

三、数据描述

meituan_waimai_meishi.csv 是美团外卖平台的部分外卖 SPU（Standard Product Unit，标准产品单元）数据，包含了外卖平台某地区一时间的外卖信息。具体字段说明如下：

四、功能要求

1.数据准备（10 分）

请在 HDFS 中创建目录/app/data/exam，并将 meituan_waimai_meishi.csv 文件传到该 目录。并通过 HDFS 命令查询出文档有多少行数据。

hdfs dfs -put ./meituan_waimai_meishi.csv /app/data/exam202009
hdfs dfs -cat /app/data/exam202009/meituan*.csv | wc -l

2.使用 Spark

加载 HDFS 文件系统 meituan_waimai_meishi.csv 文件，并分别使用 RDD 和 Spark SQL 完成以下分析（不用考虑数据去重）。（50 分）

val fileRDD = sc.textFile("hdfs://HadoopY:9000/app/data/exam202009/")

① 统计每个店铺分别有多少商品（SPU）。

fileRDD.filter(x=>x.startsWith("spu_id")==false).map(x=>x.split(",")).map(x=>(x(2),1)).reduceByKey(_+_).foreach(println)

② 统计每个店铺的总销售额。

fileRDD.filter(x=>x.startsWith("spu_id")==false).map(x=>x.split(",")).map(x=>(x(2),x(5).toDouble*x(7).toLong)).reduceByKey(_+_).foreach(println)

③ 统计每个店铺销售额最高的前三个商品，输出内容包括店铺名，商品名和销售额，其中销售额为 0 的商品不进行统计计算，例如：如果某个店铺销售为 0，则不进行统计。

fileRDD.filter(x=>x.startsWith("spu_id")==false).map(x=>x.split(",")).map(x=>(x(2),x(4),x(5).toDouble*x(7).toLong)).filter(x=>x._3>0).groupBy(x=>x._1).map(x=>{val resultArr=x._2.toList.sortBy(-_._3).take(3);(x._1,resultArr)}).collect.foreach(x=>x._2.foreach(y=>println(y._1+"--"+y._2+"--"+ y._3)))

fileRDD.filter(x=>x.startsWith("spu_id")==false).map(_.split(",")).filter(x=>x(7).toInt>0).map(x=>(x(2),x(4),x(5).toDouble*x(7).toLong)).groupBy(_._1).map(x=>(x._2.toList.sortBy(-_._3).take(3))).flatMap(x=>x).collect.foreach(x=>println(x._1+"-----"+x._2+"-----"+x._3))

3.创建 HBase 数据表（5 分）

在 HBase 中创建命名空间（namespace）exam，在该命名空间下创建 spu 表，该表下有1个列族 result。

create_namespace 'exam202009'
create 'exam202009:spu','result'

4.

请在Hive中创建数据库 spu_db，在该数据库中创建外部表 ex_spu 指向 /app/data/exam 下的测试数据；创建外部表 ex_spu_hbase 映射至 HBase 中的 exam:spu 表的 result 列族（20 分）

create database exam202009;
use exam202009;

create table if not exists ex_spu(
spu_id string,
shop_id string,
shop_name string,
category_name string,
spu_name string,
spu_price double,
spu_originprice double,
month_salse int,
praise_num int,
spu_unit string,
spu_desc string,
spu_image string)
row format delimited
fields terminated by ','
stored as textfile
location '/app/data/exam202009’
tblproperties("skip.header.line.count"="1");

create external table if not exists ex_spu_hbase(
key string,
sales double,
praise int)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ("hbase.columns.mapping"=":key, result:sales, result:praise")
tblproperties("hbase.table.name"="exam202009:spu");

5. 统计查询（15 分）

① 统计每个店铺的总销售额 sales, 店铺的商品总点赞数 praise，并将 shop_id 和 shop_name 的组合作为 RowKey，并将结果映射到 HBase。

insert into ex_spu_hbase
select concat(shop_id,shop_name),
sum(spu_price*month_sales),
sum(praise_num)
from ex_spu group by shop_name,shop_id ;

② 完成统计后，分别在 hive 和 HBase 中查询结果数据。

scan 'exam202009:spu'