hadoop环境搭建

今天整理资料，偶然间发现以前的hadoop笔记，整理发出来

注意：：：
    网络配置：
        外网主机防火墙拦截 防火墙-高级设置-入站规则-文件和打印共享（回显请求 – ICMPv4-In） 设置为允许。
    vi在粘贴时会自动添加缩进，容易把代码搞乱，在编辑前需要把自动缩进关闭
        vi /etc/virc
        #关闭自动缩进
        set paste
        #设置tab的空格数
        set tabstop=4
    挂载共享文件夹
        如果没有权限则需要切换到root用户
        mount -t vmhgfs .host:/ /mnt/hgfs
        如果报错 ERROR: can not mount filesystem: No such device，则输入如下命令：
        sudo vmhgfs-fuse .host:/ /mnt/hgfs

jdk
1.安装jdk    
    rpm -ivh jdk-8u73-linux-x64.rpm

2.查看Java安装目录
    rpm -ql jdk1.8.0_73

3.并添加环境变量：：
    vi /etc/profile
        JAVA_HOME=/usr/java/jdk1.8.0_73
        PATH=$JAVA_HOME/bin:$PATH
        CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
        export JAVA_HOME
        export PATH
        export CLASSPATH
    
    source /etc/profile
Hadoop安装
    1.拷贝并解压文件
        #新建文件夹存放hadoop
            mkdir -p /usr/soft
        #把hadoop文拷贝到/usr/soft
            cp /mnt/win/tools/Jar/hadoop-2.7.2.tar.gz /usr/soft/
        #解压文件
            tar -zvxf hadoop-2.7.2.tar.gz

    2.添加环境变量
        #修改环境变量文件
            vi /etc/profile
        #添加安装目录，主要为了方便进入，没有实际意义
            HADOOP_HOME=/usr/soft/hadoop-2.7.2
        #把hadoop下的bin和sbin添加到PATH环境变量中
            $HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
            export HADOOP_HOME
        #测试
            echo $HADOOP_HOME
            env
            hadoop version

伪分布式配置（HDFS   和   yarn）：：
配置hdfs：：：
    1.修改core-site.xml
        <!-- 文件系统 -->
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
        </property>
        <!-- hadoop的数据目录-->
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/soft/hadoop-2.7.2/tmp</value>
        </property>

    2.修改hdfs-site.xml
        <!-- HDFS副本的数量 -->
        <property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>
        <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/soft/hadoop-2.7.2/tmp/dfs/name</value>
        </property>
        <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/soft/hadoop-2.7.2/tmp/dfs/data</value>
        </property>

    3.修改 JAVA_HOME
        JAVA_HOME变量，把JAVA_HOME的绝对目录赋给该变量。
        hadoop-2.7.2/etc/hadoop/hadoop-env.sh

    4.格式化namenode
        hdfs namenode -format

    5.启动HDFS
        start-dfs.sh

配置yarn：：：
    1.复制配置文件（让配置文件加载）：：
        cp mapred-site.xml.template mapred-site.xml
    2.修改mapred-site.xml：
        vi mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
    3.修改yarn-site.xml
        <!-- 指定YARN的ResourceManage地址 -->
        <property>
        <name>yarn.resourcemanager.hostname</na