Hadoop 集群安装部署

前提条件：配置ssh面密码登陆

一、安装Java JDK

  (1) 下载Oracle版本Java JDK ：jdk-8u181-linux-x64.tar.gz

  (2) 将 jdk-8u181-linux-x64.tar.gz 解压到/opt/目录下

tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt

(3) 添加环境变量

设置JDK的环境变量 JAVA_HOME。需要修改配置文件/etc/profile，追加

export JAVA_HOME="/opt/jdk1.8.0_151"
export PATH=$JAVA_HOME/bin:$PATH

修改完毕后，执行 source /etc/profile

(4)安装后再次执行 java –version,可以看见已经安装完成。

java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

二、Hadoop集群部署

（1）下载Hadoop 2.7.6 ： http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

（2）解压hadoop-2.7.6.tar.gz

tar -zxvf hadoop-2.7.6.tar.gz -C /opt/

（3）配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、slaves文件的JAVA_HOME参数

cd /opt/hadoop-2.7.6/etc/hadoop/

vi hadoop-env.sh

#修改JAVA_HOME参数为：
export JAVA_HOME="/opt/jdk1.8.0_151"

vi core-site.xml

<configuration>
<!-- 指定HDFS namenode的通信地址 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://node91:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop/tmp</value>
</property>
</configuration>

vi hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
</configuration>

vi slaves
node24
node25
node26
node27
node28

#将Hadoop添加到环境变量
vi /etc/profile

export HADOOP_HOME="/opt/hadoop-2.7.6"
export PATH=$HADOOP_HOME/bin:$PATH

  配置完成后，将/hadoop-2.7.6发送到所有计算节点

(4)首次启动HDFS，需要先格式化

hadoop namenode -format

（5）启动Hadoop

cd /opt/hadoop-2.7.6/sbin/
./start-all.sh

(6)  JPS命令查看是否已经启动成功，有结果就是启动成功了。

 jps
3034 NameNode
3233 Jps
3110 DataNode

  也可以在网页中查看webUI

http://master_ip:50070