如何在CentOS 7上安装Hadoop单节点群集（伪节点）

如何在CentOS 7服务器上安装Hadoop单节点群集（伪节点）
Hadoop是一个开源框架，被广泛用于处理Bigdata。大多数的大数据/数据分析项目都是建立在Hadoop生态系统之上的，它由两层组成，一层是用于存储数据，另一层是用于处理数据。它由两层组成，一层是存储数据，另一层是处理数据。
存储将由自己的文件系统HDFS（Hadoop Distributed Filesystem）负责，处理将由YARN（Yet Another Resource Negotiator）负责。Mapreduce 是 Hadoop 生态系统的默认处理引擎。
本文介绍了Hadoop的Pseudonode安装过程，所有的守护进程（JVM）将在CentOS 7上运行Single Node Cluster。
这主要是为了让初学者学习Hadoop。实时，Hadoop将被安装成一个多节点集群，数据将以块的形式分布在服务器之间，作业将以并行的方式执行。
准备工作：
最小化安装的CentOS 7系统香港服务器https://www.a5idc.net/或其他地区实例。
Java v1.8版本。
Hadoop 2.x稳定版。
一、在CentOS 7服务器上安装Java
Hadoop是一个由Java组成的生态系统。我们必须强制在系统中安装Java才能安装Hadoop。

# yum install java-1.8.0-openjdk

接下来，验证系统上Java的安装版本。

# java -version

二、在CentOS 7服务器上配置无密码登录
我们需要在服务器中配置ssh，Hadoop将使用SSH管理节点。主节点使用SSH连接来连接它的从节点，并进行启动和停止等操作。
我们需要设置无密码的ssh，这样主节点就可以在没有密码的情况下使用ssh与从节点进行通信。否则每次建立连接时，需要输入密码。
在服务器上使用以下命令设置无密码SSH登录。

# ssh-keygen
# ssh-copy-id -i localhost

4. 配置好无密码SSH登录后，尝试再次登录，您将无需密码即可连接。

# ssh localhost

三、在CentOS 7服务器中安装Hadoop
转到Apache Hadoop网站，并使用以下wget命令下载Hadoop的稳定版本。

# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
# tar xvpzf hadoop-2.10.1.tar.gz

接下来，如下所示在文件中添加Hadoop环境变量~/.bashrc。
HADOOP_PREFIX=/root/hadoop-2.10.1
PATH=$PATH:$HADOOP_PREFIX/bin
export PATH JAVA_HOME HADOOP_PREFIX
在将环境变量添加到~/.bashrc文件后，通过运行以下命令为文件提供源并验证Hadoop。

# source ~/.bashrc
# cd $HADOOP_PREFIX
# bin/hadoop version

四、在CentOS 7中配置Hadoop
我们需要在下面配置Hadoop配置文件以适合您的计算机。在Hadoop中，每个服务都有自己的端口号和自己的目录来存储数据。
Hadoop配置文件– core-site.xml，hdfs-site.xml，mapred-site.xml和yarn-site.xml
首先，我们需要更新hadoop-env.sh文件中的JAVA_HOME和Hadoop路径，如下所示。

# cd $HADOOP_PREFIX/etc/hadoop
# vi hadoop-env.sh

在文件开头输入以下行：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0/jre
export HADOOP_PREFIX=/root/hadoop-2.10.1
接下来，修改core-site.xml文件。

# cd $HADOOP_PREFIX/etc/hadoop
# vi core-site.xml

将以下内容粘贴在标签之间，如下所示。

<configuration>
            <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost:9000</value>
           </property>
</configuration>

在a5idc用户主目录下创建以下目录，这些目录将用于NN和DN存储。

# mkdir -p /home/a5idc/hdata/
# mkdir -p /home/a5idc/hdata/data
# mkdir -p /home/a5idc/hdata/name

接下来，修改hdfs-site.xml文件。

# cd $HADOOP_PREFIX/etc/hadoop
# vi hdfs-site.xml

将以下内容粘贴在标签之间，如下所示。

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/a5idc/hdata/name</value>
  </property>
  <property>
          <name>dfs .datanode.data.dir</name>
          <value>home/a5idc/hdata/data</value>
  </property>
</configuration>

同样，修改mapred-site.xml文件。

# cd $HADOOP_PREFIX/etc/hadoop
# cp mapred-site.xml.template mapred-site.xml
# vi mapred-site.xml

将以下内容粘贴在标签之间，如下所示。

<configuration>
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>
</configuration>

最后，修改yarn-site.xml文件。

# cd $HADOOP_PREFIX/etc/hadoop
# vi yarn-site.xml

将以下内容粘贴在标签之间，如下所示。

<configuration>
                <property>
                       <name>yarn.nodemanager.aux-services</name>
                       <value>mapreduce_shuffle</value>
                </property>
</configuration>

五、通过NameNode格式化HDFS文件系统
在启动集群之前，我们需要在已安装Hadoop的本地系统中格式化Hadoop NN。通常，它将在首次启动集群之前的初始阶段完成。
格式化NN将导致NN metastore数据丢失，所以我们必须更加谨慎，我们不应该格式化NN而除非有意需要集群运行。

# cd $HADOOP_PREFIX
# bin/hadoop namenode -format

启动NameNode守护程序和DataNode守护程序：（端口50070）。

# cd $HADOOP_PREFIX
# sbin/start-dfs.sh

启动ResourceManager守护程序和NodeManager守护程序：（端口8088）。

# sbin/start-yarn.sh

16.停止所有服务。

# sbin/stop-dfs.sh
# sbin/stop-dfs.sh

在本文中，我们逐步进行了设置Hadoop伪节点（单节点）集群的过程。如果您具有Linux的基本知识并按照以下步骤操作，40分钟左右就能配置好。
这是非常有用的，对于初学者，开始学习和实践Hadoop的还是本香草版本的Hadoop可用于开发目的。如果我们想拥有一个实时集群，要么需要至少三台物理服务器，要么必须为云配备多个服务器。