Hadoop题目总结

Linux

问题

1. shell计算的三种方式?
2. shell函数的返回值区间是多少?
3. 如何获取一个函数的返回值?
4. 如何得到一个随机数?
5. ` `和$() ; $(())和$[]和expr有什么区别和共性?${}又有什么区别?
6. 如何修改文件时间属性?
7. 什么叫ssh?
8. etc目录放置的什么?
9. 环境变量放在哪里?
10. jps是什么?
11. block块的大小可以通过什么文件进行配置?

问题答案

1. 	  # 第一种方式:  sum=`expr $sum + $i`
   	  # 第二种方式:  sum=$(expr $sum+$i)
   	  # 第三种方式 : sum=$[$sum+$i]
   	  # 第四种方式:  sum=$(($sum+$i))
   

2. 0到255
4. $RANDOM
5. 首先这四者都是用于运算使用… ``和$() 是完全等价的,都要包含expr,date 等特殊标识; $(())和 $[] 是完全等价的,里面不能包含expr和date等标识而 ${}不能包含运算
6. touch -d 20220201 df.txt
7. 远程登录协议
8. 配置文件
9. /etc/profile
10. 查看运行的java程序
11. /etc目录下的hdfs-site.xml 当中的配置

Zookeeper

问题

1. 什么是集群?
2. 节点的类型有哪些?
3. 临时节点可以有子节点吗?
4. 对集群来说他们的IP地址有什么特点?

问题答案

1. 集群指的是有多个节点的, 对某一个程序或者某一个软件重复的部署了多次,各个节点都是一模一样的, 组合在一起成为集群
2. 临时节点和永久节点,前者只在服务端与客户端通信时有效,断开连接就会消失,后者除非手动删除,否则不会消失,且临时节点没有子节点
3. no
4. IP地址前三段是一样的

HDFS

问题

1. 什么是HDFS?
2. 什么是元数据?
3. 向HDFS文件追加内容的命令?
4. 默认情况下datanode每个多长时间向namenode报告块信息?
5. 什么情况下hdfs 会进入安全模式?
6. 通过域名或者主机名的方式直接访问hdfs页面该怎么办?
7. 修改配置文件要注意什么?

问题答案

1. 分布式文件存储系统
2. 描述数据信息的数据
3. hdfs dfs -appendTofile dd.txt(Linux目录下的文件) /aaa.txt(hdfs下的文件,这也是hdfs唯一的修改文件的操作
4. 6小时
5. 1 刚开机的时候,hdfs会进入安全模式.datanode需要向namenode报告存储的块信息
2 当namenode发现副本不够,而且无法新增副本了会进入安全模式,直到手动删除块对应的文件
3 使用 hdfs dfsadmin -safemode enter手动进入,离开是leave,查看状态是get
6. 修改windows /system32 /drivers下的hosts文件
7. 修改后要重启

Mapreduce

问题

1. Mapreduce是什么?
2. 默认分区规则是用的哪个类?
3. map和reduce在同一个机器上吗?
4. 分区和分组有什么不同?
5. 什么是调度器?

答案

1. 分布式计算框架
2. Hashpartitioner
3. 不是,他们之间是通过网络传输的
4. 分区是按打上的标记分, 是在map的结束阶段的工作,分组是按照内容划分是在分区之下继续划分属于reduce阶段的准备操作
5. 负责资源的调度工作存在于resourcemanager