配置全分布式hadoop

0.配置网络
vmare 查看ip段
编辑->虚拟网络编辑器->VMnet8->子网IP
我的是192.168.140.0
所以可配置的ip为 192.168.140.0-192.168.140.255
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=dhcp 改为
BOOTPROTO=static

ONBOOT=no改为
ONBOOT=yes

IPADDR=192.168.x.200
GATEWAY=192.168.x.2
NETMASK=255.255.255.0
DNS1=114.114.114.114

保存网络配置并重启网络
service network restart
ip addr可以查看ip

1.配置hosts
vi /etc/hosts
文末添加
192.168.x.200 master
192.168.x.201 slave1

2.使用xftp 将hadoop 与 java 安装包传输到 /opt目录

3.安装java 与 解压hadoop
rpm -ivh /opt/jdk-7u67-linux-x64.rpm
tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/

4.配置环境变量>讓系統知道你裝了這個
vi /etc/profile
在文末添加

export HADOOP_HOME=/usr/local/hadoop-2.6.5/
export JAVA_HOME=/usr/java/jdk1.7.0_67
export JRE_HOME=$JAV{A}_{H}OME/jreexportPATH=$PATH:$JAV{A}_{H}OME/bin:$JRE_HOME/bin:$HADOO{P}_{H}OME/bin;exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV{A}_{H}OME/lib/tools.jar:$JRE_HOME/lib

source /etc/profile 重新加载配置文件

5.进入hadoop核心配置目录
cd /usr/local/hadoop-2.6.5/etc/hadoop

6.配置hadoop运行环境
vi hadoop-env.sh
找到
export JAVA_HOME=${JAVA_HOME}
改成->export JAVA_HOME=/usr/java/jdk1.7.0_67

7.配置接口环境
vi core-site.xml


hadoop.tmp.dir
/opt/data/tmp


fs.defaultFS
hdfs://master:9000

8.配置hdfs配置文件
vi hdfs-site.xml


dfs.replication
1

9.配置datanode
vi slaves
修改为
master
slave1

10.配置免密登录 公钥
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

11.克隆虚拟机

12.修改主机名称
vi /etc/hostname
master 或者 slave1 重启后生效

13.格式化集群 进入主机master
cd $HADOOP_HOME

hdfs namenode -format
14.启动集群
sbin/start-dfs.sh

15.关闭防火墙
systemctl stop firewalld.service

16.查看可视化界面
192.168.x.200:50070