Linux上hadoop的安装以及配置文件修改

• 在安装Hadoop前需要先完成jdk的安装，链接：Linux集群系统下安装jdk
• Linux集群系统下安装jdk网址：https://blog.csdn.net/qq_42012160/article/details/115441810

1、下载Hadoop安装包解压
　　将下载的Hadoop安装包解压到/home/app目录下
　　解压命令：tar -zxvf hadoop-2.8.0.tar.gz -C /root/apps/hadoop
2.、Hadoop环境搭建
　 2.1 添加Hadoop安装目录到系统环境变量
　　修改配置文件（/etc/profile）
　　修改命令：vi /etc/profile　
　　添加内容：
　　　　export JAVA_HOME=/root/apps/jdk/jdk1.8.0_141
　　　　export HADOOP_HOME=/root/apps/hadoop-2.8.0
　　　　export PATH=.:＄PATH:＄JAVA_HOME/bin:＄HADOOP_HOME/bin:＄HADOOP_HOME/sbin
　　　　
　　保存文件，执行命令：source /etc/profile，使环境变量生效
　2.2 配置Hadoop环境的配置文件：hadoop-env.sh
　　export JAVA_HOME=/root/apps/jdk/jdk1.8.0_141
　2.3 hadoop的核心配置文件：core-site.xml
　　命令：vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/core-site.xml

<configuration>
//配置NameNode的主机名和端口号
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
  </property>
//文件存储目录
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/root/apps/hadoop/tmp</value>
  </property>
</configuration>

         2.4 设置HDFS元数据文件存放路径：hdfs-site.xml
　　　　 命令：vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/apps/hadoop/namenode/data</value>
  </property>
  
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop02:50090</value>
  </property>
  
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/apps/hadoop/datanode/data</value>
  </property>
</configuration>

         2.5 设置datanode启动的服务器：slaves
　　　　 命令：vi /root/apps/hadoop/hadoop2.8.0/etc/hadoop/slaves

[root@hadoop01 hadoop]# vi slaves
hadoop02
hadoop03
hadoop04

如果没有配置域名映射，该配置文件中应该是服务器的IP地址。在配置域名映射的时候，可以先配置一下服务器主机名。
服务器主机名配置：（在每一台服务器上配置主机名）

[root@hadoop01 hadoop]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01

服务器域名映射配置：

[root@hadoop01 hadoop]# vi /etc/hosts
192.168.80.11 hadoop01
192.168.80.12 hadoop02
192.168.80.13 hadoop03
192.168.80.14 hadoop04

3、格式化HDFS系统
格式化前将Hadoop安装包复制到其它所有机器上，
命令为：

scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop02:/root/apps/hadoop/

scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop03:/root/apps/hadoop/

scp -r /root/apps/hadoop/hadoop2.8.0 root@hadoop04:/root/apps/hadoop/

再将 /etc/proflie文件分别复制到其它机器上

格式化命令：hadoop namenode -format
　　格式化的原因：core-site.xml和hdfs-site.xml两个配置文件中配置的文件目录并不存在，而且不能用命令创建，只能通过格式化命令的执行，让系统自己生成。
4、启动HDFS
　４.1 常用的启动方式有两种：
　　　启动方式一： 一次启动所有进程
　　　命令：start-dfs.sh
　　　启动完成后可以通过jps命令检测是否启动成功，如果正常的启动，会有如下进程：

[root@hadoop01 hadoop]# jps
2242 Jps
2105 SecondaryNameNode
1915 NameNode

[root@hadoop02 hadoop]# jps
1270 DataNode
1358 Jps

[root@hadoop03 hadoop]# jps
1266 DataNode
1354 Jps

[root@hadoop04 hadoop]# jps
1348 Jps
1258 DataNode

              查看监听的端口
　　　　命令： netstat -nltp

[root@hadoop01 hadoop]# jps
2242 Jps
2105 SecondaryNameNode
1915 NameNode
[root@hadoop01 hadoop]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:50070               0.0.0.0:*                   LISTEN      1915/java           
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1021/sshd           
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1099/master         
tcp        0      0 192.168.80.11:9000          0.0.0.0:*                   LISTEN      1915/java           
tcp        0      0 0.0.0.0:50090               0.0.0.0:*                   LISTEN      2105/java           
tcp        0      0 :::22                       :::*                        LISTEN      1021/sshd           
tcp        0      0 ::1:25                      :::*                        LISTEN      1099/master         
[root@hadoop01 hadoop]# 

           启动方式二： 单独启动每个进程
　　　　　启动namenode
　　　　　命令：hadoop-daemon.sh start namenode
　　　　　启动datanode
　　　　　命令：hadoop-daemon.sh start datanode
　　　　　启动secondarynamennode
　　　　　命令：hadoop-daemon.sh start secondarynamenode
　　　jps命令查看是否启动以上进程。
　
　4.2、HDFS界面浏览器访问：http://hadoop01:50070