6. Hadoop完全分布式模式

一. 解压安装文件

tar -zxvf /opt/soft/hadoop-2.7.7.tar.gz -C /usr/local/src/

二.配置环境变量

vim ~/.bash_profile

添加内容：

export HADOOP_HOME=/usr/local/src/hadoop-2.7.7/
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin

三. 使环境变量立即生效

source ~/.bash_profile

四. 配置Hadoop

1. 配置：hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_301/

2. 配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
			<name>fs.defaultFS</name>
			<value>hdfs://cluster01:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
			<name>hadoop.tmp.dir</name>
			<value>/usr/local/src/hadoop-2.7.7/tmp</value>
</property>

3. 配置：hdfs-site.xml

<property>
			<name>dfs.nameservices</name>
			<value>cluster01/value>
</property>

4.配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>cluster02</value>
</property>

5.配置mapreduce-site.xml

<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
</property>

6.配置slaves

cluster01
cluster02
cluster03

五. 拷贝hadoop到集群中的其他机器

六. 启动Hadoop

格式化NameNode

hdfs namenode -format

启动hdfs

start-dfs.sh

启动yarn

start-yarn.sh