Hadoop完全分布式的搭建

Hadoop完全分布式的搭建

一、搭建前的准备工作

1. 安装JDK
   解压缩jdktar -zxvf jdk-8u161-linux-x64.tar.gz
   配置环境变量vi /etc/profile
   更新环境变量source /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.161
export PATH=$PATH:$JAVA_HOME/bin

1. 配置ssh服务
   ssh-keygen -t rsa回车四次
   ssh-copy-id master给master添加ssh
   ssh要虚拟机间俩俩互建

配置Hadoop文件

1. 解压虚拟机 tar -zxvf hadoop-2.7.1_64bit.tar.gz
2. 配置hadoop环境变量vi /etc/profile

export HADOOP_HOME=/usr/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新环境变量source /etc/profile

• 在hadoop目录下新建tmp、hdfs文件夹·
• 在hdfs目录下新建name、data文件夹
• mkdir tmp
• mkdir hdfs
• mkdir hdfs/name
• mkdir hdfs/data

3. 配置hadoop-env.sh和yarn-env.sh文件，修改jdk路径

export JAVA_HOME/usr/java/jdk1.8.161

4. 修改core-site.xml文件

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://master:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop-2.7.1/tmp</value>
</property>

5. 修改hdfs-site.xml文件

<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/hadoop-2.7.1/hdfs/name</value>
</property>
<property>
   <name>dfs.datanode.name.dir</name>
   <value>/usr/hadoop-2.7.1/hdfs/data</value>
</property>
<property>
   <name>dfs.namenode.secondray.http-address</name>
   <value>master:50090</value>
</property>

6. 修改mapred-site.xml文件

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>master:10020</value>
</property>
<property>
   <name>mapreduce.webapp.jobhistory.address</name>
   <value>master:19888</value>
</property>

7. 修改yarn-site.xml文件

<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>master</value>
</property>
<property>
   <name>yarn.nodename.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

8. 修改slaver文件，添加slaver节点的映射名或者IP

slaver1
slaver2

9. 在bin目录下格式化hadoop namenode -format
10. 在sbin启动集群start-all.sh

测试是否安装成功

1. 在master节点jps应该有

Namenode
ResourceManager
SecondaryNamenode
jps

2. 在slaver节点jps应该有

Nodeenode
jps
NodeManager

3. 在浏览器上master:50070和master:8088看是否成功