Linux下Hadoop集群配置

    

      最近开始接触Hadoop，首先从Hadoop的安装入手，本文将记录本人安装Hadoop的初体验。

      Hadoop可以用以下三种支持的模式中的一种启动Hadoop集群：单机模式、伪分布式模式、完全分布式模式，本文将介绍配置完全分布式模式。

      前置说明：本人是在Vmware上虚出了两个CentOS6.4进行玩耍的，Hadoop采用的是1.2.1版本（官网：http://hadoop.apache.org/），JRE是jre1.7.0_51。

      两个虚拟主机的说明见下表，其中node1作为Master：NameNode和JobTracker，node2作为Slave：DataNode和TaskTracker。 

     下面介绍安装过程：

     1.准备工作

      关闭防火墙和selinux，下载JRE并正确安装，vi 两台机器的 /etc/hosts，添加ip和host名对应关系，并确保能通过ping node1/node2能ping通。  

     两台机器皆添加用户 # useradd hadoop ，passwd hadoop hadoop，su至hadoop用户，到官网下载hadoop-1.2.1.tar，tar xzfv 至/home/hadoop目录下。同时，为hadoop配置PATH环境变量，# ll -a，然后添加 :/home/hadoop/hadoop-1.2.1/bin至原.bash_profile的 PATH后，同时export PATH。

     

     2.配置节点间SSH无密码登录

     在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个datanode上的各种守护进程，这就需要在节点之间执行指令的时候是不需要输入密码的形式，故需要配置SSH运用无密码公钥认证的形式。当然，前提各节点的sshd服务已启动。

     具体过程如下：

     a.生成密钥对  # cd /home/hadoop，# ssh-keygen -t rsa，此时会在hadoop用户目录下面生成隐藏.ssh目录，可以使用# ll -a查看其。这个命令将为hadoop上的用户hadoop生成其密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passwd的时候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/hadoop/.ssh目录下然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/hadoop/.ssh/authorized_keys文件中，如果机器上已经有authorized_keys这个文件了，就在文件末尾加上id_rsa.pub中的内容，如果没有authorized_keys这个文件，直接复制过去就行。

    b.生成authorized_keys文件  进入.ssh文件夹，然后将id_rsa.pub复制到authorized_keys文件（两台机器都需要执行）

    #  cd .ssh
    #  cp id_rsa.pub authorized_keys #生成authorized_keys文件    
    #  ssh node2 #测试无密码登陆，第一可能需要密码，输入hadoop用户的密码即可

    c.node1 node2密钥互通  在node2执行以下命令：
    #  scp authorized_keys hadoop@node1:/tmp   #先复制authorized_keys到node1的tmp目录中去
    #  cat /tmp/authorized_keys>>/home/hadoop/.ssh/authorized_keys  #把公钥追加到文件后面，注意这个操作是在node1上
    现在node1上的authorized_keys文件已经包含了两台主机的公钥。最后把node1上的authorized_keys再复制回node2上。

    #  scp /home/hadoop/.ssh/authorized_key hadoop@node2:/home/hadoop/.ssh

    其实，这一步操作就是使node1、node2的authorized_keys相同且包含node1、node2密钥。

    d.设置authorized_keys访问权限  # chmod 644 authorized_keys ，然后使用# ssh node2 ，不需要密码即证明配置无密钥SSH登录成功。

    

    3.配置hadoop

    cd至hadoop-1.2.1文件夹下。

    配置conf/hadoop-env.sh的JAVA_HOME

    配置conf/core-site.xml

    其中fs.default.name是NameNode的URI。hdfs://主机名:端口/，hadoop.tmp.dir ：Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。

    配置conf/mapred-site.xml

    其中mapred.job.tracker是JobTracker的主机（或者IP）和端口。主机:端口。/home/hadoop/hadoop_home/mar目录需要提前创建。

    配置conf/hdfs-site.xml

    其中dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错，此处配置为1。此处的name1和data1等目录不能提前创建，如果提前创建会出问题。

    配置conf/masters 和 conf/slaves  masters主节点配置为node1，slaves从节点配置为node2。

    上述已经在node1上完成了hadoop的配置，由于我两台虚拟机是clone的，所以直接将node1上的hadoop.1.2.1文件夹scp到node2上即可。执行命令：  # scp -r /home/hadoop/hadoop-1.2.1 hadoop@node2:/home/hadoop/

    

    4.启动hadoop

    首先，格式化一个新的分布式文件系统：#  bin/hadoop namenode -format  注意如果已经有使用ing的fs请选择n。

    启动Hadoop守护进程：
    # bin/start-all.sh
    Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs)。

    浏览NameNode和JobTracker的网络接口，它们的地址默认为：
    NameNode - http://localhost:50070/
    JobTracker - http://localhost:50030/
   

    将输入文件拷贝到分布式文件系统：
    # bin/hadoop fs -put conf input

    运行发行版提供的示例程序：
    # bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
    

    注意：如果出现 java.io.IOException: Not a file: hdfs://node1:19488/user/hadoop/input/conf 或者 put target input conf is a directory 异常时，请使用 # hadoop dfs -ls input 命令查看input是否正确，

    如果不正确，使用 # hadoop dfs -rmr input删除后，再重新操作。

    

    附，HDFS常用操作：

    hadoop dfs -ls 列出HDFS下的文件
    hadoop dfs -ls input 列出HDFS下某个文档中的文件
    hadoop dfs -put 1.txt input/2.txt 上传文件到指定目录并且重新命名，只有所有的DataNode都接收完数据才算成功
    hadoop dfs -get input/1.txt test.txt 从HDFS获取文件并且重新命名为test.txt，同put一样可操作文件也可操作目录
    hadoop dfs -rmr out 删除指定文件从HDFS上
    hadoop dfs -cat in/* 查看HDFS上in目录的内容
    hadoop dfsadmin -report 查看HDFS的基本统计信息，结果如下
    hadoop dfsadmin -safemode leave 退出安全模式
    hadoop dfsadmin -safemode enter 进入安全模式

    查看输出文件：
    将输出文件从分布式文件系统拷贝到本地文件系统查看：
    # bin/hadoop fs -get output output 
    # cat output/*
    或者 在分布式文件系统上查看输出文件：
    # bin/hadoop fs -cat output/*
    完成全部操作后，停止守护进程：
    # bin/stop-all.sh

    综上，即完成了hadoop的配置即运行测试。

    参考资料：http://hadoop.apache.org/docs/r1.2.1/