Hadoop/Hive/HBase/数据集成阶段测试

没钳蟹蟹

已于 2023-03-08 17:12:01 修改

阅读量917

点赞数 2

分类专栏：大数据文章标签： hadoop hbase hive

于 2022-07-26 16:05:58 首次发布

本文链接：https://blog.csdn.net/holiday0520/article/details/125996922

版权

大数据专栏收录该内容

23 篇文章 0 订阅

订阅专栏

Hadoop/Hive/HBase/数据集成阶段测试

一、选择题（共10道，每道1分）

1、下面哪个程序负责HDFS数据存储（）

A. NameNode B. Jobtracher
C. DataNode D. SecondaryNameNode

2、下列哪个属性是hdfs-site.xml中的配置（）
A. fs.defaultFS B. dfs.replication
C. yarn.resourcemanager.address D. mapreduce.framework.name

3、Hadoop-2.x集群中的HDFS的默认的数据块的大小是（）
A. 256M B.32M
C.64M D.128M
4、Hadoop-2.x集群中的HDFS的默认的副本块的个数是（）
A. 1 B. 2
C. 3 D. 4

5、请问以下哪个命令组成是错误的（）
A.bin/hadoop fs -cat /data/c.txt B. sbin/hdfs dfsadmin -report
C. bin/hdfs namenode -format D.sbin/stop-dfs.sh

6、以下与HDFS类似的框架是（）
A. NTFS B. FAT32
C. GFS D.EXT3

7、HBase启动不需要哪个进程（）

A. HMaster B. HRegionServer
C. QuorumPeerMain D. NodeManager

8、下列哪个是纯离线数据采集工具（）

A. FlinkX B. Sqoop
C. Flume D. Canal

9、Map的输出结果首先被写入（）
A. 内存 B. 缓存
C. 磁盘 D. 以上都正确

10、MapReduce与HBase的关系，哪些描述是正确的？（）

A. 两者不可或缺，MapReduce是HBase可以正常运行的保证

B. 两者不是强关联关系，没有MapReduce，HBase可以正常运行

C. MapReduce不可以直接访问HBase

D. 它们之间没有任何关系

二、填空题（共10分，每空1分）

1、启动hdfs的shell脚本是：（）

2、Block是HDFS的基本存储单元，默认大小是（） MB

3、MapReduce默认输入的格式化类：（）

4、Hadoop2.x三大组件：（）、（）、（）

5、Hiveserver2默认的端口：（）

6、HBase的RowKey设计三大原则：（）、（）、（）

三、判断题（共10道，每道1分）

1、Block Size是不可以修改的（）

2、如果NameNode意外终止，SecondaryNameNode会接替它使集群继续工作（）

3、Zookeeper可以用于存储Hive的元数据（）

4、MapReduce 切片的大小等于 block的大小（）

5、在HBase中由HMaster负责用户的IO请求（）

6、MapReduce中map任务的数量可以自己指定（）

7、DataX和FlinkX只能用于离线数据采集（）

8、Flume运行时需要依赖MapReduce（）

9、MemoryStore默认的大小为128MB（）

10、MapReduce中环形缓冲区默认大小为128M（）

四、简答题（共5道，每道4分）

1、简诉SecondaryNameNode的作用。

2、简诉HBase的写流程。

3、简诉MapReduce流程。

4、简诉Hive优化。

5、简诉任意两个数据采集工具及其适用场景。

五、代码题（50分）

1、请补充MR之WordCount代码块（20分）

import org.apache.hadoop.*;
import java.io.IOException;

public class Demo01WordCount {
    // Map任务 （2分）
    public static class MyMapper extends Mapper<            ,     , Text, IntWritable> {
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            // Map Task逻辑 （5分）
 
        }
    }

    // Reduce任务

    public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            // Reduce 逻辑 （5分）
            
        }
    }
    

    // Driver程序，主要负责配置及提交任务
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        Configuration conf = new Configuration();
        
        // HDFS默认入口（2分）
        conf.set("fs.defaultFS", "                 ");
        
        // 创建一个MapReduce的Job
        Job job = Job.getInstance(conf);
        // 配置任务
        // 设置任务运行的名字
        job.setJobName("Demo01WordCount");
        // 设置任务运行哪一个类
        job.setJarByClass(Demo01WordCount.class);

        // 配置Map端 （3分）
        job.setMapperClass(                );
        job.setMapOutputKeyClass(                );
        job.setMapOutputValueClass(                );

        // 配置Reduce端 （3分）
        job.setReducerClass(                );
        job.setOutputKeyClass(                );
        job.setOutputValueClass(                );

        // 配置输入输出路径
		// 等待任务运行完成
        /**
        * 后续代码省略
        */

    }
}

2、Hive数据分析（30分）

疫情期间各类政府媒体及社交网站，均发布了相关疫情每日统计数据，下面基于数据仓库工具Hive请你统计分析相关疫情数据。

提示：

（数据字段为：日期date、省份province、城市city、新增确诊confirm、新增出院heal、新增死亡dead、消息来源source）

部分数据截图：

1、请在hdfs根目录下中创建一个目录，以你的名字首字母加上“/data”命名（例如：张三，则目录名为：/zs/data），并将以上疫情数据（covid19.csv）上传到这个目录中，请列出相关命令。（4分）
2、请在hive中创建一张外部表名为: ods_yiqing_data，字段名同上，列分隔符为","，数据存储位置为第1小题创建的目录（5分）

提示：可能会用到的关键字 row format delimited fields terminated by、cluster by、distrubute by、partitioned by、location、stored as、sorted by、external
3、统计合肥市每月新增确诊病例总数，按照总数降序排列，请提供SQL语句（6分）

提示：可使用substring函数提取月份
4、统计安徽省各市3月新增确诊病例总数，按照总数降序排列，请提供SQL语句（7分）
5、统计湖北省每月新增出院病例总数最多的前3个城市，请提供SQL语句（8分）