hadoop环境安装

一、服务器系统设置
  1、添加HADOOP用户
     useradd hadoop
     passwd hadoop
  2、为HADOOP用户分配sudoer权限
     用root用户修改visudo，在（root    ALL=(ALL)       ALL）下面添加（ hadoop  ALL=(ALL)       ALL ）
  3、设置主机名master hadoop1 hadoop2 hadoop3 (vi /etc/sysconfig/network)修改主机名
     克隆会遇到eth0不见的问题:｛
        直接修改  /etc/sysconfig/network-script/ifcfg-eth0
        删掉UUID  HWADDR
        配置静态地址
        然后：
        rm -rf 　/etc/udev/rules.d/70-persistent-net.rules
        然后 reboot
      ｝
  4、配置内网域名映射：修改(vi /etc/hosts)
     添加
     192.168.1.130 master
     192.168.1.131 hadoop1
     192.168.1.132 hadoop2
     192.168.1.133 hadoop3
  配置ssh免密登陆
    1、ssh-keygen 一直回车
    2、ssh-copy-id master
         ssh-copy-id hadoop1
         ssh-copy-id hadoop2
         ssh-copy-id hadoop3
    3、测试是否可以名密成功登录 ssh master
  配置防火墙
    1、相看是否开启 service iptablse status
    2、关闭 service iptablse stop
  
二、HADOOP安装部署
   1、上传HADOOP安装包  
   2、规划安装目录  /home/hadoop/apps/hadoop-2.6.1
   3、解压安装包
   4、配置环境变量
       export JAVA_HOME=/usr/local/jdk1.8.0_191
       export HADOOP_HOME=/home/hadoop/hadoop-2.6.4
       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   
   4、修改hadoop-2.6.4/etc/hadoop/hadoop-env.sh环境变量位置   
            export JAVA_HOME=/usr/local/jdk1.8.0_191
   5、修改hadoop-2.6.4/etc/hadoop/core-site.xml 
       <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://master:9000</value>
        </property>
        
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>
        </property>
        
       </configuration>
       
   6、修改hadoop-2.6.4/etc/hadoop/hdfs-site.xml 
        <configuration>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/data/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/hadoop/data/data</value>
        </property>

        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>

        <property>
            <name>dfs.secondary.http.address</name>
            <value>master:50090</value>
        </property>
        </configuration>  
        
   7、修改hadoop-2.6.4/etc/hadoop/mapred-site.xml
       <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
       </configuration>   
       
   8、修改hadoop-2.6.4/etc/hadoop/yarn-site.xml
       <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>

        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
      </configuration>   
  拷贝到相关主机 scp -r hadoop-2.6.4 test1:/home/hadoop/
   9、修改hadoop-2.6.4/etc/hadoop/slaves
      去掉localhost
      添加hadoop1 hadoop2 hadoop3
    
   10、初始化HDFS
      hadoop  namenode  -format
   11、启动和停止
      1、启动start-all.sh 
      2、停止stop-all.sh 
   
 查看hdfs文件
    hadoop fs -ls /
上传文件测试
    hadoop fs -put test.avi /
查看文件    
    hadoop fs -cat /test.avi   
取文件    
    hadoop fs -get /test.avi     

查看hdfs文件
    hadoop fs -ls /
上传文件测试
    hadoop fs -put test.avi /
查看文件    
    hadoop fs -cat /test.avi   
取文件    
    hadoop fs -get /test.avi   
创建文件夹
    hadoop fs -mkdir -p  /wordcount/input
    hadoop fs -put a.txt b.txt /wordcount/input
    
    hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input /wordcount/output
    hadoop fs -cat /wordcount/output/part-r-0000
   
java.io.IOException: There appears to be a gap in the edit log.  We expected txid 1, but got txid 16.
namenode进程中出现如下报错信息
原因：namenode元数据被破坏，需要修复
解决：恢复一下namenode
hadoop namenode -recover
一路选择c，一般就OK了