安装hadoop

1. 解压包，配置文件   

   tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/software/
   mv hadoop-2.4.1 hadoop
   #修改配置文件
    cd /usr/local/software/hadoop/etc/hadoop
   # hadoop环境
    vi hadoop-env.sh 
    export JAVA_HOME=/usr/local/jdk
   # 核心配置配置 会覆盖core-default.xml
    vi core-site.xml
    <configuration>
        <!-- 第一个配置配namenode地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://centos7:9000</value>
        </property>
        <!-- 配置hadoop运行时数据存放的目录，不是临时数据，放很重要的数据，hadoop运行时的数据全部放在这个文件下面 -->
        <!-- 在格式化namenode 的时候自动生成这个目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/bigdata/tmp</value>
        </property>
    </configuration>
    # hdfs配置 副本数
    vi hdfs-site.xml
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    # mapreduce配置 指定mapreduce运行在yarn上
    mv mapred-site.xml.template mapred-site.xml
    vi mapred-site.xml
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    # yarn配置
    vi yarn-site.xml
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>centos7</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <!-- 这里的配置是由于在外网访问不到centos7主机 改成ip+port方式 -->
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>192.168.175.11:8088</value>
        </property>
    </configuration>

2. 初始化HDFS(格式化HDFS)格式化namenode

    cd /usr/local/software/hadoop/bin
    <!--  这一步会将core-site.xml中hadoop.tmp.dir配置的目录生成 -->
    ./hdfs namenode -format

3. 启动hdfs服务 

    cd /usr/local/software/hadoop/sbin
    sbin/start-dfs.sh   
        # 这一步会启动hdfs，jps进程中会有DataNode/NameNode/SecondaryNameNode
    # hadoop的web端口50770 
    curl http://centos7:50770

4. 启动yarn服务 

    cd /usr/local/software/hadoop/sbin
    ./start-yarn.sh   -- 这一步会启动yarn，jps进程中会有ResourceManager/NodeManager
    # yarn的web端口8088
    curl http://centos7:8088  /   http://192.168.175.11:8088

5. 如果外网访问不到web端口排查方法

1. 端口是否被监听
    lsof -i:8088  # yum install lsof
2. 进程和端口绑定情况
    natstat -tpnl 
3. 在本机是否能访问
    curl http://ip+port/
4. 检查host
    vi /etc/hosts