Hadoop及MapReduce常见面试题

Hadoop常见面试题

1. 简要描述如何安装配置一个开源的Hadoop？

答：准备一台服务器，设置SSH免密登录（补充：hadoop 的进程之间通信使用ssh 方式，需要每次都要输入密码。为了实现自动化操作，需要配置SSH 的免密码登录方式），关闭防火墙，安装JDK，解压hadoop，之后配置hadoop一些核心文件（hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml） ，配置hadoop环境变量，格式化hadoop namenode-format，启动节点start-all.sh

2. Hadoop中需要哪些配置文件，其作用是什么？

1.core-site.xml：
（1）HDFS的路径
（2）namenode，datanode，secondarynamenode等存放数据的公共目录，用户也可以自己单独指定其目录
2.hadoop-env.sh
（1）只需设置jdk的安装路径
3.hdfs-site.xml
（1）文件块的副本个数
（2）datanode节点储存在文件系统的目录
（3）namenode节点储存hadoop文件系统信息的本地系统路径
4.mapred-site.xml
（1）yarn指定mr运行在yarn上