【阿尼亚喜欢BigData】“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析①

最新推荐文章于 2022-06-10 08:56:52 发布
最新推荐文章于 2022-06-10 08:56:52 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： 阿尼亚的BigData之旅 文章标签： big data hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45943172/article/details/125095038
版权

大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！

本次为师傅们带来的是“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析系列的第①期，让我们先来看看完整赛题叭！

目录

“红亚杯”——常用数据分析Hive SQL应用专题赛

Hive专题赛（900 / 900分）

初始化环境（200 / 200分）

导入人口数据（100 / 100分）

简单查询（300 / 300分）

TopK、排序数据分析（150 / 150分）

Hive DDL基础操作（150 / 150分）

HiveSQL理论题（100 / 100分）

单选1-10（100 / 100分）

“红亚杯”——常用数据分析Hive SQL应用专题赛

本专题赛主要内容包括：了解Hive SQL使用、数据导入、Hive DDL（Create/Drop/Alter）、 简单查询（Count、Groupby）、TopK、排序在Hive中的实现。

Hive专题赛（900 / 900分）

初始化环境（200 / 200分）

本次环境为单节点伪集群环境，环境中已经安装JDK1.8、Hadoop2.7.7、Mysql5.7、hive2.3.4。

1.环境中已经安装/root/software/hadoop-2.7.7，格式化HDFS，开启集群，查看集群状态。（HDFS端口为9000，其他端口默认）

2.环境中已经安装/root/software/apache-hive-2.3.4-bin，需要开启mysql服务，初始化数据库，即可开启Hive客户端。

格式化并启动集群（200 / 200分）

1.环境中已经安装Hadoop2.7.7，格式化HDFS，开启集群，查看集群状态。（HDFS端口为9000，其他端口默认）

2.环境中已经安装Hive2.3.4，需要开启mysql服务，初始化数据库，即可开启Hive客户端。

考核条件如下：

1. 格式化集群（50.00 / 50分）

操作环境: hive专题赛环境

2. 启动集群（50.00 / 50分）

操作环境: hive专题赛环境

3. 开启mysql服务（50.00 / 50分）

操作环境: hive专题赛环境

4. 格式化Hive元数据库，进入Hive客户端（50.00 / 50分）

操作环境: hive专题赛环境

导入人口数据（100 / 100分）

创建表：

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
  [(col_name data_type [COMMENT col_comment], ...)]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type
    [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...)
  [SORTED BY (col_name [ASC|DESC], ...)]
  INTO num_buckets BUCKETS]
  [ROW FORMAT row_format]
  [STORED AS file_format]
  [LOCATION hdfs_path]

Hive不支持一条一条的用insert语句进行插入操作，也不支持update的操作。数据是以load的方式，加载到建立好的表中。数据一旦导入，则不可修改。要么drop掉整个表，要么建立新的表，导入新的数据。

导入数据：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 
[PARTITION (partcol1=val1, partcol2=val2 ...)]

创建数据库表，导入本地数据（100 / 100分）

本数据为某人口普查公开数据数据库抽取而来，该数据集类变量为年收入是否超过50k$，属性变量包含年龄、工作类型、教育程度等属性，统计对各因素对收入的影响。 数据地址：/college/person.csv

数据变量如下：

字段类型说明
agedouble年龄
workclassstring工作类型
fnlwgtstring可代表的人数
edustring教育程度
edu_numdouble受教育时间
marital_statusstring婚姻状况
occupationstring职业
relationshipstring关系
racestring种族
sexstring性别
gainstring资本收益
lossstring资本损失
hoursdouble每周工作时长
nativestring原籍
incomestring收入

示例数据：

66,Federal-gov,47358,10th,6,Married-civ-spouse,Craft-repair,Husband,White,Male,3471,0,40,United-States,<=50K

考核条件如下：

1. hive中创建person数据库，并在person数据库下创建person外部表（50.00 / 50分）

操作环境: hive专题赛环境

2. 向person外部表中加载本地数据“/root/college/person.csv”，注意字段类型，自行定义（50.00 / 50分）

操作环境: hive专题赛环境

简单查询（300 / 300分）

select完整格式

完整格式如下：

select 
[distinct] 字段名
from 表名
where 查询条件
group by 分组字段
having 筛选条件
order by 排序字段
limit 限制条件

查询顺序为:  

from       -- 拿到表的数据
where      -- 对根据条件表数据进行筛选
group by     -- 根据某个字段进行分组
having       -- 对分组之后的数据进行再次筛选
order by     -- 对数据排序（排序不止有order by）
limit        -- 限制数据条数
distinct     -- 对数据去重
             -- 执行聚合函数对结果进行聚合
select       -- 查询的结果（select结果的本质是一张虚拟表）

简单查询（Count、Max、Min、Groupby）（300 / 300分）

1.使用count函数统计表中所有数据。 2.使用max函数求最大 3.使用min函数求最小 4.根据sex性别列分组，再使用avg函数求取每组下的平均年龄，并使用round函数进行四舍五入 5.区间比较: between and

考核条件如下：

1. 统计表中数据总条数，将结果写入本地/root/person00/。（50.00 / 50分）

操作环境: hive专题赛环境

2. 求person表中年龄最大的人，将结果写入本地/root/person01/。（50.00 / 50分）

操作环境: hive专题赛环境

3. 求person表中年龄最小的人，将结果写入本地/root/person02/。（50.00 / 50分）

操作环境: hive专题赛环境

4. 根据性别求取person表中男女平均年龄，并进行四舍五入，将结果写入本地/root/person03/。（50.00 / 50分）

操作环境: hive专题赛环境

5. 统计年龄为35岁至40岁且婚姻状况是“Never-married”（未婚）人的总数，将结果写入本地/root/person04/。（50.00 / 50分）

操作环境: hive专题赛环境

6. 求取每周工作时长为20至30小时且职业是“Tech-support”（技术支持）的人员总数，将结果写入本地/root/person05/。（50.00 / 50分）

操作环境: hive专题赛环境

TopK、排序数据分析（150 / 150分）

1. 全局排序( order by) Order By：全局排序，一个Reducer ASC（ascend）: 升序（默认） DESC（descend）: 降序 ORDER BY子句在SELECT语句的结尾

2. 内部排序（Sort By） Sort By：每个Reducer内部进行排序，对全局结果集来说不是排序。一般结合的是Distributed by使用 sort by 是单独在各自的reduce中进行排序，所以并不能保证全局有序，一般和distribute by 一起执行，而且distribute by要写在sort by前面。 如果mapred.reduce.tasks=1和order by效果一样，如果大于1会分成几个文件输出每个文件会按照指定的字段排序，而不保证全局有序。

3.Group By语句 GROUP BY语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。

TopK、排序数据分析（150 / 150分）

注意：

为防止大数据集群稳定性，类似非全等join（非inner join）是禁止的，禁用了emanticException笛卡尔产品。

FAILED: SemanticException Cartesian products are disabled for safety reasons. If you know what you are doing, please sethive.strict.checks.cartesian.product to false and that hive.mapred.mode is not set to 'strict' to proceed. Note that if you may get errors or incorrect results if you make a mistake while using some of the unsafe features.

以下步骤为设置Hive支持笛卡尔积：

首先查看hive.strict.checks.cartesian.product。

set hive.strict.checks.cartesian.product;

设置hive.strict.checks.cartesian.product为false，表示支持笛卡尔积。

set hive.strict.checks.cartesian.product=false;

考核条件如下：

1. 统计person表中各种族（race）的总人数，并按照总人数倒序排序，将结果写入本地/root/person06/。（50.00 / 50分）

操作环境: hive专题赛环境

2. 统计不同职业薪资大于50K的总人数，且人数按照降序排序取Top3，将结果写入本地/root/person07/。（50.00 / 50分）

操作环境: hive专题赛环境

3. 计算较高收入（收入等于大于50K的为高收入）人群占整体数据的比例（保留两位小数），注意：设置支持笛卡尔积参考步骤说明，将结果写入本地/root/person08/。（50.00 / 50分）

操作环境: hive专题赛环境

Hive DDL基础操作（150 / 150分）

DML(Data Manipulation Language) 数据操纵语言:主要用来对数据库的数据进行一些操作，常用的就是INSERT、UPDATE、DELETE。 DDL(Data Define Language) 数据定义语言:常用的有CREATE和DROP，用于在数据库中创建新表或删除表，以及为表加入索引等 DCL(Data Control Language) 数据控制语言：通过GRANT和REVOKE，确定单个用户或用户组对数据库对象的访问权限

hiveDDL操作：

  • hive数据类型

  • hive数据编码

  • hive数据类型转换

  • hive创建数据库

  • hive创建表（三种方式）

  • hive表修改

  • hive内部表和外部表

  • hive表压缩格式

Hive DDL基础操作（150 / 150分）

Hive DDL基础操作

数据表字段：

字段类型说明
IdIntID唯一标识
Namestring姓名
AgeInt年龄
Sexstring性别

考核条件如下：

1. 在person数据库下创建student内部表（表结构参考步骤描述），并指定以制表符“\t”分隔；（50.00 / 50分）

操作环境: hive专题赛环境

2. 使用alter语句修改student内部表结构新增一列字段名称为“address”，类型为“string”；（50.00 / 50分）

操作环境: hive专题赛环境

3. 使用drop语句删除student内部表。（50.00 / 50分）

操作环境: hive专题赛环境

HiveSQL理论题（100 / 100分）

理论测评阶段共包含10道题目

分数合计为：100分

单选1-10（100 / 100分）

单选题 (1) Hive是以（　）技术为基础的数据仓库。

A、HDFS

B、MAPREDUCE

C、HADOOP

D、HBASE

单选题 (2) 以下哪个操作是hive不支持的？（　）。

A、表新增列

B、表删除列

C、表修改列

D、修改表名

单选题 (3) Hive中以下操作不正确的是（　）。

A、load data inpath into table name

B、insert into table name

C、insert overwrite table name

D、insert overwrite into table name

单选题 (4) 以下关于Hive操作描述不正确的是（　）。

A、Hive 是一个建立在hadoop文件系统上的数据仓库架构，可以用其对HDFS上

B、Hive依赖于MapReduce 处理数据

C、Hive的加载数据时候，可以用local进行修饰，表示从某个本地目录下加载数据

D、Hive一般可以用于实时的查询分析

单选题 (5) 以下对hive中表数据操作描述正确的是（　）。

A、hive可以修改行值

B、hive可以修改列值

C、hive不可以修改特定行值、列值

D、以上说法都不对

单选题 (6) 以下哪种不是Hive支持的数据类型？

A、Struct

B、Int

C、Map

D、Long

单选题 (7) Hive中的数据类型，下面说正确的是（　）。

A、TINYINT，1个字节（8位）有符号整数

B、SMALLINT，2个字节（16位）有符号整数

C、INT，4个字节（32位）有符号整数

D、以上都正确

单选题 (8) 关于Hive中的桶说法不正确的是（ ）？

A、每个桶是一个目录

B、建表时指定桶个数，桶内可排序

C、数据按照某个字段的值Hash后放入某个桶中

D、对于数据抽样、特定join的优化很有意义

单选题 (9) Hive 中的这条命令“ alter table employee add columns(column1 string)”是什么含义?

A、创建表

B、删除表

C、添加列

D、修改文件格式

单选题 (10) 关于hive 建表基本描述正确的是？( )

A、不可再修改表名

B、不可再增加新列

C、创建外部表需要指定external关键字

D、不可再修改列

爱波吉的阿尼亚
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【阿尼亚喜欢BigData】“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析③
qq_45943172的博客
06-02 625
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析系列的第③期，是“Hive专题赛(2)”篇章哦！第①期完整赛题、第②期Hive专题赛(1)的链接在下面，师傅们想看完整赛题、Hive专题赛(1)的请安心享用：【阿尼亚喜欢BigData】“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客【阿尼亚喜欢BigData】“红亚杯”常用数据分析Hive SQ
hive案例之-----------用户分析及答案.rar
09-10
hive案例之----------------------------------用户分析及其答案，恰同学少年，风华正茂，挥斥方遒
【阿尼亚喜欢BigData】“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析④
qq_45943172的博客
06-07 921
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析系列的第④期，是“理论知识”篇章哦！第①期完整赛题、第②期Hive专题赛(1)、第③期Hive专题赛(2)的链接在下面，师傅们想看完整赛题、Hive专题赛(1)、Hive专题赛(2)的请安心享用：【阿尼亚喜欢BigData】“红亚杯”常用数据分析Hive SQL应用专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客【阿尼亚喜欢BigData
【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析①
qq_45943172的博客
06-10 1362
本专题赛主要内容包括：使用Python操作Hive、使用Python库列出Hive中所有的Database、使用Python库执行DDL语句、使用Python定时执行查询Hive拥有HiveServer(Thrift)或者Hiveserver2组件，提供了JDBC驱动服务，使得我们可以用Java代码或者Python来连接Hive并进行一些关系型数据库的sql语句查询等操作。 HiveServer或者HiveServer2都是基于Thrift的，但HiveSever有时被称为Thrift server，而Hi
大数据分析师题库整理（Part One）
qq_43671197的博客
10-02 6260
Day 01 16.下列哪个属性是hdfs-site.xml中的配置 dfs.replication 17.以下不属于监督学习模型的是 关联分析 18.以下四项指标中，不能用于线性回归中的模型比较的是 R方 19.以下选项不属于原始数据来源的是 统计年鉴 20.以下选项哪个不属于分类算法 K-MEANS 21.以下选项中，哪个有可能是Apriori算法所挖掘出来的结果? 以上都不是 22.针对聚类分析，下面说法错误的是 一定存在一个最优的分类 23.HDFS中的数据块(block ）默认
hadoop2.7.7集群配置
weixin_40448238的博客
03-19 872
hadoop版本：2.7.7 配置 进入hadoop-2.7.7/etc/hadoop文件夹修改hadoop-env.sh文件、core-site.xml文件、hdfs-site.xml文件、mapred-site.xml文件(原本是一个临时文件需要复制一份)、yarn-site.xml文件 // hadoop-env.sh //修改jdk的位置和pid文件的位置 export JAVA_HOME...
阿尼亚查帕罗
02-19
标题 "阿尼亚查帕罗" 可能是指一个与个人或项目有关的名字，但在这个上下文中，它没有直接关联到IT知识。不过，标签 "Ruby" 提供了我们需要聚焦的关键领域——Ruby编程语言。Ruby是一种面向对象的、动态类型的脚本...
Proteus常用元件名称
05-05
在Proteus中，74LS74、74LS175、74LS273是常用的触发器元件，分别用于数据锁存、地址译码和数据锁存等应用中。 5. 编码器/译码器（74LS138）：编码器/译码器是一种数字元件，用于实现数字信息的编码和译码。 在...
mysql索引分析以及常见问题
09-03
索引相关知识点整理以及问题分析
真田由希鼠标指针免费版
07-25
真田由希鼠标指针是一款可爱风格的鼠标指针，真田由希是动漫《钓球》... 2、开始菜单>设置>控制面版>鼠标>第二个选项“指针”>点选需要换的指针,如“正常选择”>按右下方的“浏览（B）”>找到指针>应用>确定 3、直接搜
IF688-atividade-4
05-11
它的特点包括垃圾回收机制、强类型系统和丰富的类库，使得它在Web应用、企业级应用、移动应用（尤其是Android平台）等领域有广泛应用。 从【压缩包子文件名称列表】"IF688-atividade-4-master"来看，"master"通常指...
Hadoop的简介、安装配置和集群搭建（hadoop2.7.7）
吃鱼的博客
09-01 1635
1.框架介绍 1.1 HDFS NameNode：存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块列表和块所在的DataNode等。等于就是一个目录， DataNode：在本地文件系统存储文件块数据，以及块数据的校验和。 Secondary NameNode：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS远数据的快照。类似于NameNode的副本。 1.2 ...
ubuntu环境下hadoop2.7.7版本搭建伪集群步骤
我是尘客哥
09-28 238
hadoop2.7.7环境配置： 版本对应关系 hadoop 2.7.*-hadoop2.* ---------jdk-8, jdk-7 hadoop 3.* --------jdk-8 关闭防火墙： 1.下载jdk，此处下载openjdk-8-jdk版本 看linux中是否已经安装了java的jkd包 # ja...
Hadoop安装及遇到问题解决——1.安装
cainiao22222的博客
08-22 5415
本人的安装时完全参考林子雨老师的教程，转载自厦门大学数据库实验室 / 给力星 一、软件选择 Hadoop是基于Java语言开发的，具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows，Linux，Mac系统，我们推荐选择使用Linux或Mac系统。Mac系统存在于苹果电脑上，由于Mac系统对硬件有定制化要求，没法在Windows上使用虚拟机和双系统来使用Mac系统,我们下面也...
虚拟机网络配置、ssh免密配置、jdk和hadoop安装、Hadoop集群配置、格式化文件系统、关闭和启动集群、UI查看集群状态
m0_46165586的博客
06-27 1102
一、虚拟机网络配置 二、SSH免密登录公能配置 二、安装jdk 三、安装Hadoop 四、Hadoop集群配置 五、格式化文件系统 六、关闭和启动Hadoop集群 七、通过UI界面查看Hadoop运行状态 1.虚拟机网络配置 mkdir -p /export/data mkdir -p /export/servers mkdir -p /export/software（后面我们安装软件需要这几个目录） 打开VMware点开编辑再打开虚拟网络编辑器 再window下找到更改适配器选项 进入hadoop01进行
hive的基本操作
养猪少年日记的博客
05-26 8519
hive的安装在之前已经写了 地址： 一.语法 创建数据库 语法： CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name> 如： create database if not exists zzti_hive; hive> create database if not exists zzti_h...
Hive 连接查询操作（不支持IN查询）
写博客只为学习
04-11 3157
CREATE EXTERNAL TABLE IF NOT EXISTS a( telno STRING, other STRING ) PARTITIONED BY(day String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'; CREATE EXTERNAL TABLE IF NOT EXISTS b( teln
hive安装及踩坑
郝大侠的博客
03-18 322
1.解压安装Hive 2.安装并配置mysql`` 参考这篇文章 https://blog.csdn.net/jmkmlm123456/article/details/84583263 在mysql下创建hadoop用户，root不允许外连。 3.配置 Hive 进入 hive 安装目录下的配置目录，然后修改配置文件： [zkpk@master ~]$ cd /home/zkpk/apache-...
Hadoop安装-单节点伪集群
cjf_wei的博客
07-23 1003
本文介绍如何配置和安装单节点的Hadoop伪集群，在单节点的集群上，同样可以操作Hadoop分布式文件系统(HDFS)，以及执行Hadoop MapReduce。
sql按照两个变量分组后用分组的数据减去每个分组中的第一个数据
最新发布
07-27
您好！对于您的问题，您可以使用窗口函数和子查询的方式来实现。具体的SQL语句如下： ```sql SELECT variable1, variable2, (variable2 - first_value(variable2) OVER (PARTITION BY variable1 ORDER BY variable2)) AS difference FROM your_table; ``` 在这个例子中，`your_table` 是您的数据表名，`variable1` 和 `variable2` 是您要分组和计算差值的两个变量。 该查询使用了窗口函数 `first_value()` 来获取每个分组中的第一个数据，并通过 `PARTITION BY` 子句指定按照 `variable1` 进行分组。然后，通过 `ORDER BY` 子句指定按照 `variable2` 进行排序。 最后，通过计算 `(variable2 - first_value(variable2) OVER (PARTITION BY variable1 ORDER BY variable2))` 来得到每个分组中的数据减去第一个数据的差值。 希望能帮到您！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱波吉的阿尼亚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值