Hadoop完全分布式搭建详细步骤

核心配置参数

1）指定hadoop的默认文件系统为：hdfs
2）指定hdfs的namenode节点为哪台机器
3）指定namenode软件存储元数据的本地目录
4)指定datanode软件存放文件块的本地目录

准备工作

三台Linux服务器、导入jar包

一、 解压jar包。配置环境变量

tar -zxvf jdk-7u79-linux-x64.gz
tar -zxvf hadoop-2.6.4.tar.gz

配置环境变量
vim /etc/profile
最后一行下边加上

export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME=/hadoop/jdk1.7.0_79/
export HADOOP_HOME=/hadoop/hadoop-2.6.4/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

二、配置SSH免密登陆

	生成公钥：ssh-keygen -t rsa
	免密登录：ssh-copy-id hadoop2(每台节点都要执行)

三、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

四、修改每台节点的主机映射

vim /etc/hosts
192.168.37.100 hadoop1
192.168.37.103 hadoop2
192.168.37.104 hadoop3

五、修改Hadoop配置文件

1、vim hadoop-env.sh #添加jivahome环境变量

2、vim core-site.xml

	<configuration>

	<!-- 指定HDFS中NameNode的地址 -->
	<property>
    	<name>fs.default.name</name>
    	<value>hdfs://hadoop1:9000</value>
	</property>

	<!-- 指定hadoop运行时产生文件的存储目录,注意tmp目录需要创建 -->
	<property>
   	 	<name>hadoop.tmp.dir</name>
    	<value>/usr/local/hadoop/hadoop-2.7.7/data</value>
	</property>

	</configuration>

3、vim hdfs-site.xml

	<configuration>

	<!-- 设置dfs副本数，不设置默认是3个 -->
	<property>
    	<name>dfs.replication</name>
    	<value>3</value>
	</property>

	<!-- 设置namenode数据存放路径 -->
	<property>
    	<name>dfs.name.dir</name>
    	<value>/usr/local/hadoop/hadoop-2.7.7/data/name</value>
	</property>

	<!-- 设置datanode数据存放路径 -->
	<property>
	<name>dfs.data.dir</name>
	<value>/usr/local/hadoop/hadoop-2.7.7/data/data</value>
	</property>
	<!-- 设置secondname的端口 -->
	<property>
	<name>dfs.secondary.http.address</name>
	<value>hadoop1:50090</value>
	</property>
	</configuration>

4、cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml

	<configuration>
	<!-- 指定mr运行在yarn上 -->
	<property>
 		<name>mapreduce.framework.name</name>
 		<value>yarn</value>
	</property>
	</configuration>

5、vim yarn-site.xml

	<configuration>
	<!-- Site specific YARN configuration properties -->
	<!-- reducer获取数据的方式 -->
		<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
 		</property>
	<!-- 指定YARN的ResourceManager的地址 -->
 		<property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop1</value>
 		</property>
	</configuration>

6、vim slaves

	hadoop1
	hadoop2
	hadoop3

六、分发文件

hadoop2 hadoop3 并刷新环境变量

scp -r hadoop/ bigdata02:$PWD

scp -r java/bigdata02:$PWD

进入到/etc文件夹下scp profile bigdata02:$PWD
分别发送到其他节点，三台节点文件配置保持一致

其他节点上的环境变量要生效命令：source /etc/profile

格式化hdfs

hadoop namenode -format
启动hadoop start-dfs.sh

jps查看进程

web端

192.168.46.100:50070

搭建完成