安装Hadoop：设置单节点Hadoop集群

安装Hadoop：设置单节点Hadoop集群

从我们之前关于Hadoop教程系列的博客中，您必须对Hadoop，HDFS及其体系结构有一个理论的概念。我希望你会喜欢我们以前的HDFS架构博客  ，现在我将带你了解Hadoop和HDFS的实际知识。向前迈出的第一步是安装Hadoop。

有两种安装Hadoop的方法，即单节点和多节点。

单节点集群  意味着只有一个DataNode运行，并在一台机器上设置所有NameNode，DataNode，ResourceManager和NodeManager。这用于学习和测试目的。例如，让我们考虑一个医疗行业内的样本数据集。因此，为了测试Oozie作业是否已经按照适当的顺序对数据进行了收集，聚合，存储和处理等全部过程，我们使用单节点集群。与包含数百TB数据的大型环境相比，它可以在更小的环境中轻松高效地测试顺序工作流。 

在多节点群集中，有多个DataNode正在运行，每个DataNode在不同的机器上运行。多节点集群实际上被用于组织中分析大数据。考虑到上面的例子，我们实时处理PB级的数据时，需要分布在数百台机器上进行处理。因此，这里我们使用多节点集群。 

在这个博客中，我将向您展示如何在单个节点集群上安装Hadoop。

先决条件

• VIRTUAL BOX：用于在其上安装操作系统。
• 操作系统：您可以在基于Linux的操作系统上安装Hadoop。Ubuntu和CentOS是非常常用的。在本教程中，我们使用CentOS。    
• JAVA：您需要在您的系统上安装Java 8软件包。
• HADOOP：你需要Hadoop 2.7.3包。

安装Hadoop

第1步：点击这里下载Java 8包。将此文件保存在您的主目录中。

第2步：提取Java Tar文件。

命令： tar -xvf jdk-8u101-linux-i586.tar.gz

图：Hadoop安装 - 提取Java文件

第3步：下载Hadoop 2.7.3包。

命令： wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

图：Hadoop安装 - 下载Hadoop

第4步：解压Hadoop tar文件。

命令：tar -xvf hadoop-2.7.3.tar.gz

图：Hadoop安装 - 提取Hadoop文件

第5步：在bash文件（.bashrc）中添加Hadoop和Java路径。

打开。 bashrc文件。现在，添加Hadoop和Java Path，如下所示。

命令：  vi .bashrc

图：Hadoop安装 - 设置环境变量

然后，保存bash文件并关闭它。

要将所有这些更改应用到当前终端，请执行source命令。

命令：源.bashrc

图：Hadoop安装 - 刷新环境变量

要确保Java和Hadoop已经正确安装在您的系统上，并且可以通过终端访问，请执行java -version和hadoop版本命令。

命令： java -version

图：Hadoop安装 - 检查Java版本

命令： hadoop 版本

图：Hadoop安装 - 检查Hadoop版本

第6步：编辑Hadoop配置文件。

命令：  cd hadoop-2.7.3 / etc / hadoop /

命令： ls

所有Hadoop配置文件都位于hadoop-2.7.3 / etc / hadoop目录中，如下所示：

图：Hadoop安装 - Hadoop配置文件

步骤7 ：打开core-site.xml并在配置标签内编辑下面提到的属性：

core-site.xml通知Hadoop守护进程，NameNode在群集中运行。它包含Hadoop核心的配置设置，例如HDFS和MapReduce共有的I / O设置。

命令： vi core-site.xml

图：Hadoop安装 - 配置core-site.xml

1 2 3 4 五 6 7 8

<? xml version = "1.0" encoding = "UTF-8" ?> <? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?> < configuration > < property > < name >fs.default.name</ name > < value >hdfs://localhost:9000</ value > </ property > </ configuration >

第8步：编辑hdfs-site.xml 并在配置标签内编辑下面提到的属性：

hdfs-site.xml包含HDFS守护进程（即NameNode，DataNode，Secondary NameNode）的配置设置。它还包括HDFS的复制因子和块大小。

命令： vi hdfs-site.xml

图：Hadoop安装 - 配置hdfs-site.xml

 

1 2 3 4 五 6 7 8 9 10 11 12

<? xml version = "1.0" encoding = "UTF-8" ?> <? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?> < configuration > < property > < name >dfs.replication</ name > < value >1</ value > </ property > < property > < name >dfs.permission</ name > < value >false</ value > </ property > </ configuration >

 

第9步：编辑mapred-site.xml文件并在配置标签内编辑下面提到的属性：

mapred-site.xml包含MapReduce应用程序的配置设置，如可并行运行的JVM的数量，映射器和还原器进程的大小，进程可用的CPU内核等。

在某些情况下，mapred-site.xml文件不可用。所以，我们必须使用mapred-site.xml模板创建mapred-site.xml文件  。

命令： cp mapred-site.xml.template mapred-site.xml

命令： vimapred-站点。xml。 

图：Hadoop安装 - 配置mapred-site.xml

 

1 2 3 4 五 6 7 8

<? xml version = "1.0" encoding = "UTF-8" ?> <? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?> < configuration > < property > < name >mapreduce.framework.name</ name > < value >yarn</ value > </ property > </ configuration >

 

第10步：编辑yarn-site.xml  并在配置标签内编辑下面提到的属性：

yarn-site.xml包含ResourceManager和NodeManager的配置设置，如应用程序内存管理大小，程序和算法所需的操作等。

命令： vi yarn-site.xml

图：Hadoop安装 - 配置yarn-site.xml

 

1 2 3 4 五 6 7 8 9 10 11

<? xml version = "1.0" > < configuration > < property > < name >yarn.nodemanager.aux-services</ name > < value >mapreduce_shuffle</ value > </ property > < property > < name >yarn.nodemanager.auxservices.mapreduce.shuffle.class</ name > < value >org.apache.hadoop.mapred.ShuffleHandler</ value > </ property > </ configuration >

 

第11步：编辑hadoop-env.sh并添加Java路径，如下所述：

hadoop-env.sh包含脚本中用来运行Hadoop的环境变量，如Java home path等

命令： vi hadoop-env。SH

图：Hadoop安装 - 配置hadoop-env.sh

第12步：  转到Hadoop主目录并格式化NameNode。

命令：  cd

命令：  cd hadoop-2.7.3

命令：  bin / hadoop namenode -format

图：Hadoop安装 - 格式NameNode

这通过NameNode格式化HDFS。这个命令只是第一次执行。格式化文件系统意味着初始化由dfs.name.dir变量指定的目录。

永远不要格式化，运行Hadoop文件系统。你将失去所有存储在HDFS中的数据。  

第十三步：一旦NameNode被格式化，转到hadoop-2.7.3 / sbin目录并启动所有的守护进程。

命令：  cd hadoop-2.7.3 / sbin

您可以使用单个命令启动所有守护进程，也可以单独执行。

命令：  ./ start-all.sh

上面的命令是 start-dfs.sh，start-yarn.sh＆  mr-jobhistory-daemon.sh

或者你可以单独运行所有的服务如下：

启动NameNode：

NameNode是HDFS文件系统的核心。它保存HDFS中存储的所有文件的目录树，并跟踪存储在群集中的所有文件。

命令： ./hadoop-daemon.sh start namenode

图：Hadoop安装 - 启动NameNode

启动DataNode：

在启动时，DataNode连接到Namenode，它响应Namenode对不同操作的请求。

命令： ./hadoop-daemon.sh启动datanode

图：Hadoop安装 - 启动DataNode

启动ResourceManager：

ResourceManager是仲裁所有可用群集资源的主机，从而有助于管理在YARN系统上运行的分布式应用程序。其工作是管理每个NodeManagers和每个应用程序的ApplicationMaster。

命令： ./yarn -daemon.sh启动resourcemanager

图：Hadoop安装 - 启动ResourceManager

启动NodeManager：

每个机器框架中的NodeManager是负责管理容器的代理，监视它们的资源使用情况并将其报告给ResourceManager。

命令： ./yarn -daemon.sh启动nodemanager

图：Hadoop安装 - 启动NodeManager

启动JobHistoryServer：

JobHistoryServer负责处理来自客户的所有与工作历史相关的请求。

命令： ./mr-jobhistory-daemon.sh启动historyserver

第14步：要检查所有Hadoop服务已启动并正在运行，请运行以下命令。

命令： jps

图：Hadoop安装 - 检查守护进程

第15步：现在打开Mozilla浏览器并转到localhost：50070 / dfshealth.html以检查NameNode接口。

图：Hadoop安装 - 启动WebUI

恭喜，您已经成功安装了单个节点的Hadoop集群。 在下一篇Hadoop教程系列博客中，我们将介绍如何在多节点集群上安装Hadoop。