搭建hadoop集群

原创 2012年03月21日 14:36:47
一、所需软件
Linux和Windows所需软件包括:

    JavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版本。
    ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。

Windows下的附加软件需求

    Cygwin - 提供上述软件之外的shell支持。

安装软件

如果你的集群尚未安装所需软件,你得首先安装它们。

以Ubuntu Linux为例:

$ sudo apt-get install ssh
$ sudo apt-get install rsync

在Windows平台上,如果安装cygwin时未安装全部所需软件,则需启动cyqwin安装管理器安装如下软件包:

    openssh - Net 类

二、修改/etc/hosts文件
设置任意一台机器都可以通过ip和主机名称来访问
修改3台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析

127.0.0.1    localhost
10.0.0.201    steven01
10.0.0.202    steven02
10.0.0.203    steven03


三、准备硬件设备、操作系统、网络环境

    准备三台机器,机器名分别为 steven01、steven02、steven03,均安装 ubuntu (其它 Linux 发行版亦可), 确保各台机器之间网络畅通,机器名与 IP 地址之间解析正确,从任一台机器都可以 ping 通其它机器的机器名。如有机器名的解析问题,可通过设置 /etc/hosts 文件解决,当然更好的解决方法是在你的网络中配置 DNS 服务器。此外,需要在三台机器上创建相同的用户帐号,如:steven。

    我们将使用 steven03 作为分布式文件系统 HDFS 的 Name Node 及 MapReduce 运行过程中的 Job Tracker 结点,我们将 steven03 称之为主结点。其它两台机器 (steven01,steven02) 作为 HDFS 的 Data Node 以及 MapReduce 运行过程中的 Task Tracker 结点,这些结点可统称为从结点。如你需要部署更多的机器,也是很容易的,将新加入的机器作为 Data Node 以及 Task Tracker 结点即可,其配置过程在您看完本文后就会了。

设置ssh免验证登录。
1/先执行$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,用来生成id_dsa.pub文件(注意:命令中''是两个单引号)
2/然后执行$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3/最后将authorized_keys文件拷贝到各个datanode服务器的对应目录即可。具体命令:
scp authorized_keys  steven@10.0.0.201:~/.ssh/
(该命令是首先进入当前机器或者Name Node的~/.ssh,把当前节点的dsa权限key复制到其他的节点中,可以不用其他机器可以用localhost免密码登录,拷贝过去以后,在当前机器上用ssh可以免密码登录其他机器)

在 Hadoop 分布式环境中,Name Node (主节点) 需要通过 SSH 来启动和停止 Data Node (从结点)上的各类进程
。我们需要保证环境中的各台机器均可以通过 SSH 登录访问,并且 Name Node 用 SSH 登录 Data Node 时,不需要
输入密码,这样 Name Node 才能在后台自如地控制其它结点。可以将各台机器上的 SSH 配置为使用无密码公钥认证方式来实现

四、安装部署 Hadoop

4.1、编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径
在这里我们做了一个处理,即把hadoop的原文件和jdk的安装文件放到一个文件夹下,路径为
hadoop/
    hadoop-distributred/
    jdk1.7.0_03/
其中hadoop-distributed存放hadoop的安装文件,jdk1.7.0_03是jdk的安装文件

4.2、配置 conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml

   4.2.1、 conf/core-site.xml:
    <configuration>

        <property>
                <name>fs.default.name</name>
                <value>hdfs://steven03:9000</value>
        </property>

    </configuration>

    4.2.2、conf/hdfs-site.xml

    <configuration>

        <property>
                <name>dfs.name.dir</name>
                <value>/home/steven/hadoopfs/name_0,/home/steven/hadoopfs/name_1</value>
                 <description>Determines where on the local filesystem the DFS name node
                        should store the name table. If this is a comma-delimited list of directories
                        then the name table is replicated in all of the directories,
                        for redundancy.
                </description>
        </property>

        <property>
                <name>dfs.data.dir</name>
                <value>/home/steven/hadoopfs/data_0,/home/steven/hadoopfs/data_1</value>
                <description>
                        Determines where on the local filesystem an DFS data node
                        should store its blocks. If this is a comma-delimited list of directories,
                        then data will be stored in all named directories, typically on different    

            devices. Directories that do not exist are ignored.
                </description>
        </property>

    </configuration>

    4.2.3、conf/mapred-site.xml

     <configuration>
         <property>
                <name>mapred.job.tracker</name>
                <value>steven03:9001</value>
        </property>

    </configuration>

    4.3、解释:

    参数 fs.default.name 指定 Name Node 的 IP 地址和端口号,此处我们将其设定为 steven03 及 9000 端口,参数 mapred.job.tracker 指定 JobTracker 的 IP 地址和端口号,此处我们将其设定为 steven03 及 9001端口。 参数 dfs.name.dir 指定 Name Node 相关数据在本地文件系统上的存放位置, 此处我们将其设定为/home/steven/hadoopfs/name_0,/home/steven/hadoopfs/name_1 ,参数 dfs.data.dir 指定 Data Node 相关数据在本地文件系统上的存放位置,此处我们将其设定为 /home/steven/hadoopfs/data_0,/home/steven/hadoopfs/data_1 。注意, Hadoop 会自动创建这些目录,无需事先创建。如果你有多个磁盘设备,以逗号分开配置进去,会大大提高IO效率。

    4.4、设定主从节点

    修改 conf/masters 文件,将其中的 localhost 改为 steven03 ,修改 conf/slaves 文件。 删掉其中的localhost, 将我们的另两台机器 steven01,steven02 加入, 注意每个机器一行。masters里面的是主机节点,slaves里面是从机节点。

    4.5、同样的配置拷贝到其他两台机器上去

    $ scp -r /home/steven/hadoop steven01:/home/steven/hadoop
    $ scp -r /home/steven/hadoop steven02:/home/steven/hadoop

    注意:可能您每台机器的JAVA安装位置不一样,记得修改conf/hadoop-env.sh,设置export JAVA_HOME=正确路径。

    4.6、在 steven03 上格式化一个新的分布式文件系统

    $ cd hadoop/hadoop-distributed
    $ bin/hadoop namenode -format

    4.7、启动hadoop进程

    $ bin/start-all.sh

starting namenode, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-namenode-steven03.out
steven02: starting datanode, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-datanode-steven02.out
steven01: starting datanode, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-datanode-steven01.out
The authenticity of host 'steven03 (10.0.0.203)' can't be established.
RSA key fingerprint is 3f:cf:68:17:60:47:a6:0a:dc:d1:0a:9a:ee:ae:16:39.
Are you sure you want to continue connecting (yes/no)? yes
steven03: Warning: Permanently added 'steven03,10.0.0.203' (RSA) to the list of known hosts.
steven03: starting secondarynamenode, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-secondarynamenode-steven03.out
starting jobtracker, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-jobtracker-steven03.out
steven01: starting tasktracker, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-tasktracker-steven01.out
steven02: starting tasktracker, logging to /home/steven/hadoop/hadoop-distributed/bin/../logs/hadoop-steven-tasktracker-steven02.out


    启动完成之后,从日志中可以看到,也可以运行 ps -ef 命令可以看到 home0.hadoop 上启动了 3 个新的 java进程 (namenode, secondary namenode, jobtracker), 同时,我们可以到 home1.hadoop、home2.hadoop 两台机器上用 ps –ef 查看,这两台机器上应该已经自动启动了 2 个新的 java 进程 (datanode, tasktracker)

 五、操作HDFS试试

    $ bin/hadoop fs -lsr //查看分布式系统中是有哪些文件存在

    $ bin/hadoop fs -put /home/yourusername/hadoop-0.20.2/hadoop-0.20.2-tools.jar a.jar //从本地拷贝文件

    $ bin/hadoop fs -put /home/yourusername/hadoop-0.20.2/ . //从本地文件系统拷贝文件夹到分布式文件系统
   
    $ bin/hadoop fs -rmr /home/yourusername/hadoop-0.20.2/ . //删除分布式文件系统的所有文件

六、可能你不会很顺利

   我的问题呢,就是碰到 could only be replicated to 0 nodes, instead of 1,因为防火墙问题,在这里解决的:http://jiajun.iteye.com/blog/624449。

七、多熟悉熟悉

   1、http://steven03:50070 看看分布式文件系统概况日志

Cluster Summary
15 files and directories, 3 blocks = 18 total. Heap Size is 10.73 MB / 966.69 MB (1%)
Configured Capacity    :    56.26 GB
DFS Used    :    524 KB
Non DFS Used    :    10.86 GB
DFS Remaining    :    45.4 GB
DFS Used%    :    0 %
DFS Remaining%    :    80.7 %
Live Nodes     :    2
Dead Nodes     :    0

    2、http://steven03:50030 看看工作情况

Cluster Summary (Heap Size is 7.5 MB/966.69 MB)
Maps    Reduces    Total Submissions    Nodes    Map Task Capacity    Reduce Task Capacity    Avg.

Tasks/Node    Blacklisted Nodes
0    0    0    2    4    4    4.00    0

    3、熟悉hadoop的命令

八、环境搭建完成,到这里你可以玩玩分布式文件系统,下一步我会介绍如何分布式编程

相关文章推荐

hadoop集群搭建

  • 2017年11月06日 16:47
  • 4KB
  • 下载

搭建hadoop集群的全部配置文件

  • 2012年12月28日 16:03
  • 7KB
  • 下载

搭建6个节点的Hadoop集群

搭建6个节点的Hadoop集群节点在实验室192.168.100.20:8006,用户名:root,密码:**,申请了6个节点,分别是:192.168.101.44 #主节点 192.168.101...
  • jpzhu16
  • jpzhu16
  • 2016年03月26日 10:37
  • 2425

linux下hadoop集群搭建

  • 2014年01月13日 14:34
  • 93KB
  • 下载

Linux_RedHat、CentOS上搭建Hadoop集群

  • 2012年08月13日 17:52
  • 21KB
  • 下载

Hadoop集群之 ZooKeeper和Hbase环境搭建

前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境...

CDH_5.4.9_hadoop集群搭建方法

  • 2016年05月23日 11:20
  • 356KB
  • 下载

入门级Hadoop集群搭建详细教程(六):yum本地仓库与远程仓库配置

下载的Centos安装镜像文件中其实已经自带了很多的安装包,只是在minimal安装模式下并没有安装而已。因此,在无网络的情形下,安装一些常用的库,可以建立本地yum源进行直接获取安装包。 yu...

Hadoop集群搭建详细简明教程

  • 2016年10月21日 14:53
  • 4.76MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:搭建hadoop集群
举报原因:
原因补充:

(最多只允许输入30个字)