Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Hadoop安装配置

写在前面

本系列文章索引以及一些默认好的条件在 传送门

所有节点均需要安装并配置Hadoop
一共设置了两个节点，分别是master && slave1
以下配置文件仅为个人配置，具体还请根据自己实际情况添加配置项

step1. Hadoop下载

博主使用的是Hadoop3.1.1，可以去Hadoop官网下载

step2. Hadoop解压安装

将下载后的Hadoop包放置在/usr/local之下，然后使用如下命令：

cd /usr/local
tar -zxvf  /usr/local/hadoop-3.1.1.tar.gz -C /usr/local
cd /usr/local
mv ./hadoop-3.1.1 ./hadoop     

具体版本名称根据自己的实际情况来确定
切勿盲目CV

step3. 配置环境变量

使用vim打开文件命令是：vim ~/.bashrc
然后键入i后输入：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL

然后保存编辑的内容，按下esc，然后输入:wq!保存并退出
具体版本名称根据自己的实际情况来确定
切勿盲目CV

step4. 查看时候配置成功

命令行输入：
source ~/.bashrc
然后输入hdfs 查看结果
出现下图所示则为成功:

step5. 其他节点的配置

在其他的节点均操作step1-4

step6. 修改六个配置文件

6.1 hadoop-env.sh修改 | master节点

cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh

然后键入：

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

具体版本名称根据自己的实际情况来确定
切勿盲目CV
后保存

6.2 core-site.xml修改 | master节点

该文件在与6.1同级目录下
需要键入：

<property>
    <name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value>
  </property>
  <property>
        <name>fs.default.name</name><value>hdfs://master:9000</value>
  </property>
  <property><name>io.file.buffer.size</name><value>131072</value>   
  </property> 

需要夹在$<configuration></configuration>$之间

6.3 hdfs-site.xml修改 | master节点

同样在同级目录下使用vim编辑该文件，同样放在$<configuration></configuration>$之间

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hdfs/name/</value>
</property>
<property><name>dfs.blocksize</name><value>268435456</value></property>
<property>
  <name>dfs.namenode.handler.count</name><value>100</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hdfs/data/</value>
</property>
<property>
  <name>dfs.namenode.http-address</name><value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>   
  <value>master:50090</value>
</property>

具体版本名称根据自己的实际情况来确定
切勿盲目CV

6.4 yarn-site.xml修改 | master节点

<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name><value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
    <property>
    <name>yarn.application.classpath</name>     
<value>/usr/local/hadoop/etc/*,/usr/local/hadoop/lib/*,/usr/local/hadoop/etc/hadoop/*,/usr/local/hadoop/share/hadoop/common/*,/usr/local/hadoop/share/hadoop/common/lib/*,/usr/local/hadoop/share/hadoop/mapreduce/*,usr/local/hadoop/share/hadoop/mapreduce/lib/*,/usr/local/hadoop/share/hadoop/hdfs/*,/usr/local/hadoop/share/hadoop/hdfs/lib/*,/usr/local/hadoop/share/hadoop/yarn/*,/usr/local/hadoop/share/hadoop/yarn/lib/*
    </value>
    </property>
</configuration>

具体版本名称根据自己的实际情况来确定
切勿盲目CV

6.5 mapred-site.xml修改 | master节点

同样在同级目录下，vim编辑键入：

具体版本名称根据自己的实际情况来确定
切勿盲目CV

<configuration>
<property>
    <name>mapreduce.Framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.applicaition.classpath</name>    <value>$HADOOP_HOME/etc/*,$HADOOP_HOME/etc/hadoop/*,$HADOOP_HOME/lib/*,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapred.job.history.webapp.address</name>
    <value>master:19888</value>
</property>
<property>
    <name>yarn.nodemanager.aux-service</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>mapred.job.tracker.http.address</name>
    <value>master:50030</value>
</property>
<property>
   <name>mapred.task.tracker.http.address</name>
   <value>master:50060</value>
</property>
<property>
      <name>mapred.job.tracker</name><value>master:9001</value>
      <description>HOST OrIPand port of JobTracker</description>
</property>
<property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
      <name>mapreduce.Framework.name</name><value>yarn</value>
</property>
</configuration>

6.6 workers 修改 | master节点

同样在同级目录下面编辑
vim workers
建议去掉localhost，去掉localhost之后在网页中查看信息便不显示master节点
然后键入子节点的名字如：

slave1
slave2

step7. 配置文件的复制

将如上所示的配置文件直接复制到其他节点，因为已经实现了互通以及ssh免密登录，所以说：

scp hadoop-env.sh root@slave1:/usr/local/hadoop/etc/hadoop/
scp core-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp hdfs-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp mapred-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp yarn-site.xml root@slave1:/usr/local/hadoop/etc/hadoop/
scp workers root@slave1:/usr/local/hadoop/etc/hadoop/

如果有多个节点，可以将slave1替换为slave2等

step8. 配置目录的创建

该步骤三个节点均需操作

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data

step9. 格式化并启动Hadoop

在各个节点输入
hdfs namenode -format
如果出现：

则表明格式化成功
在主机进行：
/usr/local/hadoop/sbin/start-all.sh
然后：
输入jps查看Java进程情况

step10. 浏览器查看集群

在浏览器输入：
master:50070
会显示相信的信息：

若能够查看到每个节点的信息（master,slave1,slave2等）则说明配置成功
如果再workers中没有配置master，则不会在页面中显示master，并且建议不配置master，否则后续HBase会有死掉的master节点 upd:2023-04-02
如果访问不到或者是访问不强，可以考虑关闭防火墙