2020年11月 工信部考试——Hadoop（数据应用技术）中级认证3

系统提纲
281.掌握常用 hdfs 操作命令，执行并查看结果。
283. 在 Linux 系统中创建一个目录 work，并在该目录下创建文件 file.txt， 写入“I have a dream!”
284. 请使用 SQL 创建student表
284．Java 字符串操作，按提示补充空白处代码：
287. HDFS 命令行操作
288. HDFS 安全模式相关操作：
289. 下列是 HDFS 通过 Java API 操作代码，根据提示补充内容：
296．HBase 基本操作
297．完善 Flume 的 Agent 配置
305. Hive 的 sort by 和 order by 的区别
306. 写出以下hadoop执行命令
314.创建子目录 dd,然后把当前目录信息以长格式附加重定向到文件 song1 中。
315. 查看当前系统日期和时间信息，且把该信息附加重定向到文件 song1 中。
316. 查看 HOME 变量的值，且把该信息附加重定向到文件 tang1 中。
317．当前目录下，创建目录 www,把文件 new1 复制到 www 中的文件 new3 中。
318. 显示当前系统正在运行的进程信息，把该信息附加重定向到文件 tang1 中。
319. 编写 Shell 程序，首先输出一行“this is the information of users”的提示信息，接 着查看当前注册的用户信息，然后查找目录/bin 中的所有以字母 l 开头的文件，最后显示当 前工作路径。
320. 编写 Shell 程序，使其执行时在屏幕上输出整数 1~50，但其中位于 20 和 30 之间的 偶数不输出。
————————————问答题————————————
285. 简述 Hadoop 安装？
286. 在 HDFS 中 fsimage 和 edits 这两个文件是如何合并的？
291. HDFS 写文件流程
292. HDFS 读文件流程
293. mapreduce 的优化方法
294. MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什么？
298．Zookeep`r 四种类型的 znode
299. 多线程有几种实现方法?
301. 重写 override，重载 overload 的区别
302. 请简述 yarn 流程
303. hive 跟 hbase 的区别
304. Hive 有哪些方式保存元数据，各有哪些优缺点。
307. 三个 datanode，当有一个 datanode 出现错误会怎样？
308. hive 内部表和外部表的区别
310. 请简述 hadoop 怎样实现二级排序
311. hbase 内部机制是什么
313. 请谈谈你对 HDFS 存储的机制的理解?

281. 掌握常用 hdfs 操作命令（hdfs dfs），执行并查看结果（可以在终端输入 hdfs dfs - help 查询命令用法）。

先通过 vi 在 Linux 本地(路径自定)创建三个文本文件：test1.txt、test2.txt、test3.txt。文件里面随意输入些内容。
列出根目录下文件或者目录
hdfs dfs -ls /
在根目录下分别创建目录：/学号后三位/mydemo1 和 /学号后三位/mydemo2 (例如：/001/mydemo1、/001/mydemo2)
以下题目中的学号后三位都用 001 来举例，各位同学在做实验时根据自己的实际学号进行操作
hdfs dfs -mkdir -p /001/mydemo1
hdfs dfs -mkdir -p /001/mydemo2
将本地目录下 test1.txt 文件上传到 HDFS 的/001/mydemo1 路径下并且重命名为 file1.txt
hdfs dfs -put test1.txt /001/mydemo1/file1.txt
将本地目录下 test2.txt 和 test3.txt 文件上传到 HDFS 的/001/mydemo2 路径下并分别重命名为 file2.txt 和 file3.txt
hdfs dfs -put test2.txt /001/mydemo2/file2.txt
hdfs dfs -put test3.txt /001/mydemo2/file3.txt
递归列出 HDFS 目录/001 下的所有子目录和文件
hdfs dfs -ls -R /001
查看 HDFS 的/001/mydemo1/file1.txt 文件中的内容：
hdfs dfs -cat /001/mydemo1/file1.txt
将 HDFS 的/001/mydemo2/file3.txt 文件复制到/001/mydemo1 下
hdfs dfs -cp /001/mydemo2/file3.txt /001/mydemo1
删除 HDFS 的/001/mydemo2/file3.txt
hdfs dfs -rm /001/mydemo2/file3.tx
将 HDFS 的/001/mydemo2/file2.txt 的文件移动到/001/mydemo1 下
hdfs dfs -mv /001/mydemo2/file2.txt /001/mydemo1
合并/001/mydemo1 下的所有文件并且下载到本地，命名为 merge.txt
hdfs dfs -getmerge /001/mydemo1 merge.txt
在 HDFS 的/001/mydemo2 下创建一个空文件 file.txt
hdfs dfs -touchz /001/mydemo2/file.txt
将本地 merge.txt 文件追加到 HDFS 中的/001/mydemo2/file.txt 的文件末尾
hdfs dfs -appendToFile merge.txt /001/mydemo2/file.txt
删除 HDFS 的目录 mydemo1 以及该目录下的所有文件
hdfs dfs -rm -r /001/mydemo1
查看 HDFS 的/001/mydemo2 下各文件的大小
hdfs dfs -du /001/mydemo2

283. 在 Linux 系统中创建一个目录 work，切换到该目录，并在该目录下创建文件 file.txt， 写入内容“I have a dream!”，最后查看文件是否创建。

mkdir work
cd work
echo “I have a dream” > file.txt
ls

284. 请使用 SQL 创建如下表：

表名： student
属性：
ID varchar(18) PK
Name varchar(20)
Gender varchar(10)
插入下列数据：
学号，姓名，性别
001，Jones，male
002，Lily，female

CREATE TABLE ` student` (`ID` VARCHAR(18) NOT NULL, `Name` VARCHAR(20) NULL, `Gender` VARCHAR(10) NULL, PRIMARY KEY (`ID`)); 
INSERT INTO `kettle_test`.`student2` (`ID`,