阶段性测试一

1.Hadoop MapReduce计算的流程是 (B)
A.Map任务-Reduce任务-Shuffle
B.Map任务-shuffle-Reduce任务
C.Reduce任务-Map任务-Shuffle
D.shuffle-Map任务-Reduce任务

2.Hive在处理数据时，默认的行分隔符是 (B)
A.\t
B.\n
C.\b
D.\a

3.Hive查询语言中的算术操作符的返回结果是 (A)
A.Number
B.Int
C.Biglnt
D.String

4.下面那种类型间的转换是被 Hive 查询语言所支持的? (D)
A.Double–>Number
B.BIGINT–>DOUBLE
C.INT–>BIGINT
D.STRING–>DOUBLE

5.HBase虚拟分布式模式需要 (D)
A.最少3个
B.3。
C.2。
D.1。

6.HBase分布式模式最好需要( ) 个节点? ©
A.1
B.2
C.3
D 最少3个

7.HBase依赖( )提供消息通信机制 (D)
A.Socket
B.RPC
C.Chubby
D.Zookeeper

8.在使用MapReduce程序WordCount进行词频统计时，对于文本行"hello hadoop hello world"，经过WordCount程序的Map函数处理后直接输出的中间结果，应该是 ©
A.<"hello"1,1>、<“hadoop”,1>和<“world”,1>
B.<"hello"2>、<"hadoop"1>和<“world”,1>
C.<“hello”,1>、<"hello"1>、<“hadoop”,1>和<“world”,1>
D.<“hello”<1,1>>、<“hadoop”,1>和<“world”,1>

9.Hive查看表的详细信息的命令是 (B)
A.show extended
B.desc extended
C.desc table
D.以上都不对

10.HBase中的批批量加载底层使用 (D)
A.Hive
B.Bloom Filter
C.Coprocessor
D.MapReduce

11.Hive最重视的性能是可测量性、延展性、( )和对于输入格式的宽松匹配性 (B)
A.较低恢复性
B.容错性
C.快速查询
D.可处理大量数据

12.Hive 查询语言和SQL的一个不同之处在于( )操作? （C）
A.Group By
B.Join
C.Partition
D.Union

13.有关Hive支持的基本数据类型，Timestamp表示（A）
A.整数，浮点数或者字符串
B.字符序列，可以指定字符集
C.字节数组
D.集合数据类型

1.下列关于Hive的设计特点描述正确的是 (ACD)
A.将元数据保存在关系数据库中
B.不支持不同的存储类型
C.支持索引，加快数据查询
D.可以直接使用存储在Hadoop文件系统中的数据

2.下列对HBase数据模型的描述正确的是 (ABD)
A.HBase是一个稀疏、多维、排序的映射表，这张表的索引是行键、列簇、列限定符和时间戳
B.HBase列簇支持动态扩展，可以很轻松的添加列簇或列。
C.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本
D.每个HBase表都有若干行组成，每个行由行键来标识。

3.YARN是负责集群资源调度管理的组件。不同的计算框架统一运行在YARN框架之上，具有哪些优点? (A B C D)
A.计算资源按需伸缩
B.不同负载应用混搭，集群利用
C.共享底层存储，避免数据跨集群迁移
D.大大降低了运维成本

4.关于MapReduce的shuffle过程，正确的叙述是 (ABCD)
A.并非所有场合都可以使用合并操作
B.shuffle分为Map任务端的shuffle和Reduce任务端的shuffle
C.Map任务的输出结果不是立即写入磁盘，而是首先写入缓存
D.每个Reduce任务真正开始之前，大部分时间都在从Map端领取所需的数据

5.Hive支持的文件存储格式有 (ABCD)
A.SEQUENCEFILE
B.TEXTFILE
C.ORCFILE
D.RCFILE

6.以下关于Hive描述不正确的是 (D)
A.使用HQL作为查询接
B.是基于Hadoop的一个数据仓库工具
C.提供一系列工具，可用来进行数据提取转化加载
D.可以存储、分析存储在Hadoop中的大规模数据，但不能进行查询

7.YARN解决了MapReduce1.0的哪些问题 (ABCD)
A.扩展性差
B.资源利用率低
C.通用性差
D.单点故障

8.Hive中表的类型可简单分为 (ABCD)
A.内部表
B.外部表
C.分桶表
D.分区表

9.MapReduce与HBase的关系，哪些描述是正确的 (AB)
A.两者不是强关联关系，没有MapReduce，HBase可以正常运行
B.MapReduce可以直接访问HBase
C.它们之间没有任何关系
D.两者不可或缺，MapReduce是HBase可以正常运行的保证

10.Hive将表中的数据保存到文本，并使用命令插入到employee表中，命令正确的是 (AD)
A.load data local inpath ‘/opt/data/testtxt’ overwrite into table employee
B.load data inpath ‘/opt/data/test.txt’ overwrite into table employee
C.load local inpath ‘/opt/data/test.txt’ overwrite into table employee
D.load data local inpath ‘/opt/data/test.txt’ into table employee

11.编写MapReduce程序时，下列叙述正确的是 (BCD)
A.启动MapReduce进行分布式并行计算的方法是start ( )
B.reduce函数所在的类必须继承自Reduce类
C.map函数的输出就是reduce函数的输入
D.reduce函数的输出默认是有序的

12.在Hive中，下面执行创建一个名为mydbl数据库，命令正确的有 (BD)
A.create sheet mydbl
B.create database mydbl
C.create table mydbl
D.create schema mydbl

1.Map的主要工作是将多个任务的计算结果进行汇总 (❌)

2.在Hadoop中每个应用程序被表示成一个作业，每个作业又被分成多个任务，JobTracker负责作业的分解、状态监控及资源管理。 （✔）

3.Hive中的窗口函数over()是一种聚合函数，它用于计算基于组的某种聚合值 （❌）

有一个充值日志表如下：

CREATE TABLE `credit_log` 
(
    `dist_id` int（11）DEFAULT NULL COMMENT '区组id',
    `account` varchar（100）DEFAULT NULL COMMENT '账号',
    `money` int(11) DEFAULT NULL COMMENT '充值金额',
    `create_time` date DEFAULT NULL COMMENT '订单时间'
)ENGINE=InnoDB DEFAUILT CHARSET-utf8；

请写出HQL语句，查询充值日志表2023年11月11日每个区组下充值额最大的账号，要求输出结果：
区组id，账号，金额，充值时间

1.子查询方式：

select t.dist_id, t.account, t.money, t.create_time 
from credit_log t 
join(select dist_id, max(money) money from credit_log where create_time='2023-11-11' group by dist_id) t1
on t.dist_id=t1.dist_id and t.money=t1.money;

2.row_number()/rank()/max() over(…)函数方式：

select t.dist_id, t.account, t.money, t.create_time
from (
    select tl.dist_id, tl.account, t1.money, t1.create_time,
           row_number() over(partition by cl.dist_id order by cl.money desc) as row
    from credit_log tl
    where tl.create_time = '2023-11-11'
) t
where t.row = 1;