Hadoop复习(一)

Hadoop复习

---

前言

提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、简要描述如何安装配置apache的一个开源Hadoop

1)准备三台(奇数)客户机（配置IP，配置主机名…）
2)安装jdk，安装hadoop
3)配置JAVA_HOME和HADOOP_HOME
4)使每个节点上的环境变量生效（source /etc/profile）
5)准备分发脚本 scp -r
a)**在/user/atguigu/bin下创建脚本：scp -r
6)明确集群的配置
7)修改配置文件
a)**core-site.xml
b)**hadoop-env.sh
c)**hdfs-site.xml
d)**yarn-env.sh
e)**yarn-site.xml
f)**mapred-env.sh
g)**mapred-site.xml
h)**配置slaves
8)分发配置文件
a)**scp -r /etc/hadoop
9)删掉data和logs文件夹
10)配置ssh（server01，hadoop103）
11)分发配置文件
12)格式化hdfs（hdfs namenode -format）
13)群启hdfs
14)群启yarn

二、Hadoop中需要哪些配置文件和其作用

1.core-site.xml：

如下：

(1)fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径 。
(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是NameNode、DataNode、secondaryNamenode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。
(3)ha.zookeeper.quorum:master:2181,server01:2181,server02:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点 。

2.hadoop-env.sh:

只需设置jdk的安装路径，如：export JAVA_HOME=/usr/local/jdk。

3.hdfs-site.xml：

(1) dfs.replication:他决定着系统里面的文件块的数据备份个数，默认为3个。
(2) dfs.data.dir:datanode节点存储在文件系统的目录 。
(3) dfs.name.dir:是namenode节点存储hadoop文件系统信息的本地系统路径 。

mapred-site.xml：

mapreduce.framework.name: yarn指定mr运行在yarn上。

---

三.正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?

(1）NameNode

它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。

(2）SecondaryNameNode

它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。

(3)DataNode

它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守护进程。

(4）ResourceManager（JobTracker）

JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。

(5）NodeManager（TaskTracker）

  执行任务。

(6）DFSZKFailoverController

高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。

(7）JournalNode

高可用情况下存放namenode的
editlog文件。

四.简述Hadoop的几个默认端口及其含义。

(1）dfs.namenode.http-address:50070
(2）SecondaryNameNode辅助名称节点端口号：50090
(3）dfs.datanode.address:50010
(4）fs.defaultFS:8020 或者9000
(5）yarn.resourcemanager.webapp.address:8088

总结

以上就是今天的内容,hadoop复习一小段