本地hadoop 搭建-环境

1.安装虚拟机VMware 12，Centos6.10
2.修改IP 地址 
    1.配置网络 vi /etc/sysconfig/network-scripts/ifcfg-eth0
        IPADDR=192.168.1.100
        GATEWAY=192.168.1.2
        DNS1=192.168.1.2
    2.vi /etc/udev/rules.d/70-persistent-net rules
        复制 eth1 的地址  把eth1改为eth0  粘贴到ifcfg-eth0
    3. vi /etc/sysconfig/network
        修改主机名
        4.添加host
        vi /etc/hosts
        192.168.1.100 hadoop100
    5.重启
      reboot

   6.测试能否ping外网
3.关闭防火墙
    1.查看防火墙状态
        chkconfig iptables --list
    2.关闭防火墙
        chkconfig iptables off
4.增加新用户,并有root权限
    1.添加新用户
        useradd master01
                passwd   *****
    2.添加root权限
        vi /etc/sudoers
        master01 ALL=(ALL) ALL  
5.新用户添加module  software

    mkdir /opt/module /opt/software
    chown master01:master01 /opt/module/ /opt/software

6.安装hadoop,java,并解压到module
    1.传输压缩包到software
    2.tar -zxvf jdk-7u79-linux-x64.gz -C /opt/module/
    3.tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

7.添加hadoop,java 到环境变量    

   检测java  rpm -qa|grep  java
    卸载java  rpm -e java
    vi /etc/profile
    1.添加java 环境变量
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.7.0_79
    export PATH=$PATH:$JAVA_HOME/bin
    export PATH=$PATH:$JAVA_HOME/sbin
    2.添加hadoop环境变量
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/haddoop2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    3.配置hadoop-env.sh
    export JAVA_HOME=/opt/module/haddoop2.7.2
    4.使配置生效  source /etc/profile

 

本地hadoop已经搭建完成

官方grep案例
    1.hadoop-2.7.2建立文件夹 input
    mkdir input
    cp etc/hadoop/*.xml input
    bin/hadoop jar share/hadoop/maoreduce/hadoop-mapreduce-example-2.7.2 jar grep input output 'dfs[a-z.]+'
    cat output/