Hadoop3 全分布式安装

准备工作：

1. 4台节点服务器
   1.1.1 JDK安装&配置好 参考JDK安装文章
   1.1.2 4个节点服务器配置相互免密登录 参考配置免密登录文章
2. 下载Hadoop 下载地址

开发环境

1. Linux平台: Centos6.5
2. JDK版本：1.8( jdk-8u201-linux-x64【下载地址】)
3. Hadoop 3.1.2 下载地址

1. 解压安装包到/opt目录下

/usr 下是你安装系统是所安装的软件的安装目录；
/opt 则是按完系统后你又需要安装其他的应用软件，一般是源码包的软件，可以自己指定路径，管理员习惯性的把软件按在这，你也可以安装在其他位置。

tar -zxvf hadoop-3.1.2.tar.gz -C /opt

2. 修改配置文件

配置文件路径：/opt/hadoop-3.1.2/etc/hadoop

1. 修改hadoop-env.sh配置文件，hadoop环境变量
   修改Hadoop的环境变量，默认的环境变量与服务器底层的环境变量有却别，因此必须修改。

   i. 打开全是注释项，在末尾新添加一行来配置所需的Java环境：

   export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
   

   ii. 配置角色进程指派NameNode,DataNode,SecondAryNameNode

   export HDFS_NAMENODE_USER=root
   export HDFS_DATANODE_USER=root
   export HDFS_SECONDARYNAMENODE_USER=root
   

2. 修改core-site.xml配置文件，主节点配置文件

   <configuration>
   	<!-- 指定HDFS（namenode）的通信地址 -->
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://node01:9820</value>
       </property>
       <!-- 指定hadoop运行时产生文件的存储路径 -->
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/var/hadoop/peseude/full</value>
       </property>
   </configuration>
   

3. 修改hdfs-site.xml配置文件，从节点配置文件

   <configuration>
   	<!-- 设置hdfs副本数量 -->
       <property>
           <name>dfs.replication</name>
           <value>2</value>
       </property>
       <!--The secondary namenode http server address and port. -->
       <property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>node02:9868</value>
       </property>
   </configuration>
   

4. 修改workers配置文件，配置从节点

   node02
   node03
   node04
   

5. 将node01节点的hadoop安装包分发给其他节点

   # 把hadoop文件夹分发到node02下面同样的位置
   scp -r hadoop-3.1.2/ node02:`pwd`
   scp -r hadoop-3.1.2/ node03:`pwd`
   scp -r hadoop-3.1.2/ node04:`pwd`
   

   观察到在每一个节点中都有opt/hadoop-3.1.2安装目录

3. 启动Hadoop

配置hadoop系统环境变量hadoop/bin & hadoop/sbin

1. 修改 /etc/profile系统环境变量文件,在其末尾添加
   export HADOOP_HOME=/opt/hadoop-3.1.2
   添加PATH环境变量
   export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2. 向其节点分发配置文件
   scp /etc/profile node02:/etc/
scp /etc/profile node03:/etc/
scp /etc/profile node04:/etc/
3. 重读配置文件
   source /etc/profile

1. 格式化系统—相当于文件夹的创建

   • 产生集群第1个FSImage文件（元数据信息）
   • 生成集群ID

   hdfs namenode -format
   

   执行成功标志：
   再最下面的几行中有

   Storage dirextory /var/hadoop/pesude/full/dfs/name hsa been successfully formatted.
   

   打印VERSION，生成clusterID，生成元数据信息
   

2. 启动当前节点

   start-dfs.sh
   

   

4.成功标志

1. 方式1： 使用jps命令：显示当前所有JAVA进程pid
   
   
   
   
   4个节点服务器都被启动起来。

2. 方式2： 查看启动后的监听端口
   
   可观察到9820,9870端口被监听。

3. 方式3： 直接访问前台界面http://node01:9870