hadoop初识之三：搭建hadoop环境（配置HDFS，Yarn及mapreduce 运行在yarn）上及三种运行模式（本地模式，伪分布式和分布式介）

--===============安装jdk（解压版）==================
--root 用户登录
--建立文件层级目录
   /opt下分别 建 modules/softwares/datas/tools 文件夹
--查看是否安装jdk
   rpm -qa|grep java
--缷载系统自带的jdk:nodeps是忽略依赖，强制缷载
   rpm -e --nodeps java-1.5.0
--jdk tar包上传到softwares中:上传工具


--解压jdk到modules中
   tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
--配置环境变量
   vi /etc/profile
      ##JAVA_HOME
      export JAVA_HOME=/opt/modules/jdk1.7.0_67
      export PATH=$PATH:$JAVA_HOME/bin
   source /etc/profile
   退出后重新登录进去
--测试
   java -version
--===============安装hadoop-2.5.0（解压版）==================
--解压jdk到modules中
   tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules
   mv hadoop-2.5.0-cdh5.3.6/ hadoop-2.5.0
--可以使用默认，也可以更改
   vi /opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh
   export JAVA_HOME=/opt/modules/jdk1.7.0_67
   export HADOOP_CONF_DIR=/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop
--在hadoop2.5.0下
   mkdir input
   cp etc/hadoop/*.xml input/
--===================启动集群==========================
   1.本地模式：mapreduce 运行在本地,启动jvm
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar grep input output 'dfs[a-z.]+'
   2.伪分布式模式：
--++++++++++++++配置hadoop中hdfs+++++++++
=》配置  core-site 配置hdfs为默认路径和临时文件夹,及配置HDFS垃圾回收时间是7天
    <configuration>
             <property>
                  <name>fs.defaultFS</name>
          <value>hdfs://master:8020</value>
             </property>
             <property>
                 <name>hadoop.tmp.dir</name>
         <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
             </property>

        </configuration>

   <property>
        <name>fs.trash.interval</name>
<value>10080</value>
   </property>

=>配置hdfs-site.xml伪分布式模式备份为1
  <configuration>
          <property>
               <name>fs.replication</name>
        <value>1</value>
          </property>
       </configuration>
=》第一次使用时格式化hdfs系统
   bin/hdfs namenode -format
    =》启动namenode/datanode
  sbin/hadoop-daemon.sh start namenode
  jps 测试是否成功（有两个进程）
    =》查看日志文件
  ll logs
  查看以.log结尾的日志，而不是以.out结尾的
=》查看hdfs web界面
  master:50070/若打不开，则使用ip地址 或 配置window系统hosts文件
  若仍打不开，则关闭linux防火墙
         重启后生效 
           开启： chkconfig iptables on 
           关闭： chkconfig iptables off 
         即时生效，重启后失效 
           开启： service iptables start 
           关闭： service iptables stop 
--+++++++++++++++配置yarn+++++++++++++++++
     => cd /etc/hadoop/yarn-env.sh
   export JAVA_HOME=/opt/modules/jdk1.7.0_67
     =>yarn-site.xml----运行mapreduce
        <property>
             <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
        </property>
        <property>
             <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
        </property>
=>配置/slaves
=》启动yarn
   sbin/yarn-daemon.sh start resourcemanager
   sbin/yarn-daemon.sh start nodemanager
=>查看jps进程
=》yarn监控界面：master:8088
--+++++++++++++++++配置mapreduce默认运行在yarn上，初始默认local模式++++++++++++
     => cd /etc/hadoop/mapred-env.sh
   export JAVA_HOME=/opt/modules/jdk1.7.0_67
     => cd /etc/hadoop/mapred-site.sh
  <configuration>
           <property>
                <name>mapreduce.framework.name</name>
        <value>yarn</value>
           </property>
        </configuration>
--+++++++++++++测试+++++++++++++++++
     bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar  wordcount /user/npl/wordcount/input /user/npl/wordcount/output
--3.分布式模式：多些节点，在slaves中配置