最全Hadoop伪分布搭建过程

CentOS 7  环境下伪分布试安装配置Hadoop

 <一>设置静态IP地址

<二>修改主机名

<三>解压安装包

<四>设置ssh免密码登录

<五>配置环境变量

<六>配置Hadoop文件

<七>格式化namenode和启动Hadoop

<八>测试hdfs和yarn

（一）设置静态IP地址

1、配置IP地址

1）、进入地址

cd /etc/sysconfig/network-scripts
vi ifcfg-eth0
 

 2）、配置文件

	TYPE=Ethernet
	BOOTPROTO=static
	DEFROUTE=yes
	IPV4_FAILURE_FATAL=no
	NAME=eth0
	#UUID=70ea9a1f-92d8-4f45-9172-eec10957f5e7
	DEVICE=eth0
	ONBOOT=yes
	IPADDR=192.168.56.11 （ 这里是你要配置的IP地址号）
	NETMASK=255.255.255.0
	GATEWAY=192.168.56.2

（二） 修改主机名

1、关闭防火墙

# systemctl disable firewalld
systemctl disable NetworkManager

2、设置主机名称

# vim /etc/hostname
cmaster

3、设置主机名解析

# vim /etc/hosts
192.168.56.11 cmaster

4、设置DNS解析

# vim /etc/resolv.conf
   nameserver  192.168.56.2

（三）解压安装包

1、先创建几个文件用于安放jdk 和Hadoop

 

eg: mkdir /usr/java 用于安放jdk
    mkdir /usr/had  用于安放Hadoop
    mkdir /test     用于安放压缩包

2、上传和解压

 eg: tar -zxvf hadoop-2.2.0.tar.gz -C /usr/had
     tar -zxvf jdk-7u40-linux-x64.tar.gz -C /usr/had 

（四）设置ssh免密码登录

cd ~/.ssh

若提示没有此目录则先手动执行一次

ssh 本机主机名

再进行切换目录

ssh-keygen -t rsa
ssh-copy-id 本机主机名或者ip地址

输入yes并输入密码

任意目录下执行命令

ssh 本机主机名ip地址

检查是否直接登录

（五）配置环境变量

vi /etc/profile

添加一下内容

export JAVA_HOME=jdk目录
export HADOOP_HOME=hadoop目录
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存并退出

刷新配置文件

source /etc/profile

（六）配置Hadoop文件

1、进入到/usr/had/hadoop-2.2.0

2、创建hdfs目录在其目录分别创建name和data目录

3、切换到/hadoop-2.2.0/etc/hadoop目录

①配置vi hadoop-env.sh

修改JAVA_HOME的值为jdk所在目录

②配置core-site.xml

<property>
	<name>fs.default.name</name>
	<value>hdfs://192.168.56.11:9000</value>  (这是你配置的IP地址) 
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.56.11:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/had/hadoop-2.2.0/tmp</value>
</property>

 ③配置hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.name.dir</name>
	<value>/usr/had/hadoop-2.2.0/hdfs/name</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>/usr/had/hadoop-2.2.0/hdfs/data</value>
</property>

④ 需要先将mapred-site.xml.template 改为 mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

⑤yarn-site.xml

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>192.168.56.11</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

（七）格式化namenode和启动Hadoop

格式化 namenode

hdfs namenode -format

 格式化完成后启动hadoop

start-all.sh

 或分别启动

  start-dfs.sh
    start-yarn.sh

进行验证节点是否全部安装

在任意的目录下输入jps 查看命令如果不是这六个结点的话就再一次启动Hadoop直到出来为止

 

（八）测试hdfs和yarn

在浏览器输入

192.168.56.11:50070
192.168.56.11:8080