Hadoop多节点集群配置

data1配置（步骤针对虚拟机virtualbox2.5.20）

网络配置文件{

sudo gedit /etc/network/interfaces

将下面代码贴到loopback下面一行

#NAT interface
auto eth0
iface eth0 inet dhcp

#host only interface
auto eth1 
iface eth1 inet static
address 192.168.56.101
netmask 255.255.255.0
network 192.168.56.0
broadcast 192.168.56.255

编辑hostname

sudo gedit /etc/hostname

改为data1

}

编辑hosts文件

sudo gedit /etc/hosts

写在127.0.1.1 hadoop 下面那行

192.168.56.100 master
192.168.56.101 data1 
192.168.56.102 data2 
192.168.56.103 data3

编辑core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

找到对应改成这个 hdfs://master:9000

编辑yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
在两个类似下面那种的后面写上 如下语句



<property>  
<name>yarn.resourcemanager.resource-tracker.address</name>  
<value>master:8025</value>  
</property><property>  
<name>yarn.resourcemanager.scheduler.address</name>  
<value>master:8030</value>  
</property><property>  
<name>yarn.resourcemanager.address</name>  
<value>master:8050</value>  
</property>

编辑mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
修改为
<configuration>
<property>  
 <name>mapred.job.tracker</name>  
 <value>master:54311</value>  
</property>
</configuration>

编辑hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

删除namenode设置


重启data1   可以用 ifconfig 查看ip

关机 完全复制data1到 data2，data3，master 复制过程如果有这个   重新初始化所有网卡的mac地址 就选择 。

设置data2和data3服务器

前面网络配置括号部分走一遍，改动为

address 192.168.56.10×   ×为data×

hostname为对应data节点名字，只进行这两处修改

完成后都关机

设置master服务器

第一步进行和设置data2的类似，但是×是0 名字是master

编辑hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml  不能打开就重启
设置namenode  不要datanode

dfs.namenode.name.dir   file:/usr/local/hadoop/hadoop_data/hdfs/namenode

编辑master文件

sudo gedit /usr/local/hadoop/etc/hadoop/master
输入master

编辑slaves文件

sudo gedit /usr/local/hadoop/etc/hadoop/slaves

输入 
data1
data2
data3

都关机，之后都开启

master连接到data1，data2，data3创建hdfs目录

在master中 
ssh data1 

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs 
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode 
sudo chown hduser:hduser -R /usr/local/hadoop 
exit

之后ssh data2 和ssh data3做类似的操作（ssh 后面的名字要改其他一样）

创建并格式化namenode hdfs目录

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs 
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode 
sudo chown -R hduser:hduser /usr/local/hadoop

hadoop namenode -format

启动Hadoop multinode cluster 

start-all.sh  启动hdfs和yarn

查看目前所執行的行程

jps



可以通过
ssh data1 
jps
exit
来查看各个节点的进程


Hadoop Resource­Manager Web界面
http://master:8088/

开启namenode 界面

http://master:50070/