[大数据]连载No3之Hadoop完全分布式环境搭建

步骤如下
1:安装虚拟机virtualBox
  系统 CentOS-7-x86_64-DVD-1511.iso

Bridged Adapter模式的网路设置

进入系统,登陆
  1)设置ip 
    vim /etc/sysconfig/network-scripts/ifcfg-enp0s3
        TYPE=Ethernet #网络类型,以太网的意思
IPADDR= 192.168.0.150
NETMASK=255.255.255.0

  2)设置网关 vim /etc/sysconfig/network
        NETWORKING=yes
GATEWAY=192.168.10.300 #如果是桥接方式,不用设置

3:重启网络服务 systemctl restart newwork 
4:关闭防火墙
  systemctl stop firewalld.service #停止firewall
  systemctl disable firewalld.service #禁止firewall开机启动
  firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

安装软件
1. 复制jdk压缩包到softs文件夹中
2. 解压tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
3. 创建软连接sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79 /usr/local/jdk
4. 配置相关环境变量vim ~/.bash_profile: JAVA_HOME, CLASSPATH, PATH。全局生效配置文件/etc/profile。
5. 使环境变量生效 source ~/.bash_profile
7. 验证java version/ javac version

配置多台虚拟机

master 192.168.0.150

node1 192.168.0.151

node2 192.168.0.152

1:机器之间ssh免登陆配置
2:安装hadoop
3 vim ~/.base_profile 配置环境变量
  export JAVA_HOME=/home/softs/jdk1.8.0_151
  export CLASSPATH=.:$JAVA_HOME/lib
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.0
   export HADOOP_PREFIX=$HADOOP_HOME
   export HADOOP_COMMON_HOME=$HADOOP_PREFIX
   export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
   export HADOOP_HDFS_HOME=$HADOOP_PREFIX
   export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
   export HADOOP_YARN_HOME=$HADOOP_PREFIX
PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/sbin
export PATH
4: 配置master slaves
  192.168.0.151
  192.168.0.152

5:复制hadoop 到node1,node2
  scp -r /home/hadoop/* root@192.168.0.152:/home/hadoop

6. 第一次启动hadoop之前需要格式化namenode节点，命令为hadoop namenode -format。

7. 在master节点启动 start-hdfs.sh start-yarn.sh。 

并通过jps 查看,成功启动NameNode, SecondaryNameNode,

在node1节点通过jps查看,成功启动了改节点的DateNode

在node2通过jps查看进程,成功启动了该节点DateNode

8. webUI 访问http://192.168.0.150:50070/ 启动成功。