HADOOP搭建

伪分布式的环境准备

    1.配置网络环境[NAT]
        #ifconfig   查看IP地址
        #vi /etc/sysconfig/network-scripts/ifcfg-eth0   修改IP信息
    2.配置主机名
        #vi /etc/sysconfig/network
    3.主机名和IP之间的映射
        #vi /etc/hosts
        192.168.17.100 java14.com java14

        注意：需要在本地windows系统的hosts文件中配置域名访问映射
        在C:\Windows\System32\drivers\etc\hosts文件中配置即可
        192.168.17.100 java14.com java14

    4.安装jdk
            1、解压缩jdk
             tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/   

            2、设置环境变量
                #vi /etc/profile
                ####JAVA_HOME
                JAVA_HOME=/opt/modules/jdk1.7.0_67
                export PATH=$PATH:$JAVA_HOME/bin

             source /etc/profile ##立即生效


    5.关闭防火墙
        service iptables stop

ＨＤＦＳ伪分布式安装

    1、解压缩文件
     tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

    2、hdfs文件系统的配置
        推荐：采用Notepad配置linux系统中的文件

        2.1 修改core-site.xml文件中的内容
        ##hdfs文件系统的访问入口地址
        <configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://java14.ibeifeng.com:8020</value>
            </property>
        </configuration>


        2.2 在hdfs-site.xml文件中设置hdfs文件系统的文件的备份个数
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>    

        2.3 设置Hadoop运行环境的jdk
            在hadoop-env.sh文件中修改成如下内容：
            export JAVA_HOME=/opt/modules/jdk1.7.0_67

3、运行
    3.1 格式化
        [jerry@java14 hadoop-2.5.0]$ ./bin/hdfs namenode -format

    3.2 启动对应进程角色
        namenode:
        [jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start namenode

        datanode
        [jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start datanode

        secondarynamenode
        [jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start secondarynamenode

    4、访问hdfs文件系统
        http://java14.ibeifeng.com:50070/

    5、使用hdfs文件系统
    将/opt/softwares/hadoop-2.5.0.tar.gz 中的文件上传到HDFS文件系统的/hadoop-2.5.0.tar.gz中
    [jerry@java14 hadoop-2.5.0]$ ./bin/hdfs  dfs -put /opt/softwares/hadoop-2.5.0.tar.gz  /hadoop-2.5.0.tar.gz

搭建Yarn平台

    1、etc/hadoop/mapred-site.xml:
        ##mapreduce程序运行在yarn之上
        <configuration>
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
        </configuration>

    2、etc/hadoop/yarn-site.xml:
        ##mapreduce中间执行的shuffle过程
        <configuration>
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        </configuration>

    3、设置jdk的环境
        **mapred-env.sh中设置
        export JAVA_HOME=/opt/modules/jdk1.7.0_67

        **yarn-env.sh中设置
        export JAVA_HOME=/opt/modules/jdk1.7.0_67

    4、启动运行
        ResouceManager
        [jerry@java14 hadoop-2.5.0]$ ./sbin/yarn-daemon.sh start resourcemanager

        NodeManager
        [jerry@java14 hadoop-2.5.0]$ ./sbin/yarn-daemon.sh start nodemanager

注：

1.配置日志聚合
    在yarn-site.xml文件中添加如下内容：
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
2.设置HDFS文件系统中文件的存储目录
在core-site.xml文件中添加如下属性：
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data</value>
    </property>