快速搭建Hadoop集群的教程

最新推荐文章于 2023-10-25 15:02:19 发布

qq_38462168

最新推荐文章于 2023-10-25 15:02:19 发布

阅读量178

点赞数

分类专栏：搭建Hadoop集群

本文链接：https://blog.csdn.net/qq_38462168/article/details/111238665

版权

搭建Hadoop集群专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Hadoop集群安装　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。

Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。

准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。Jdk1.6的安装方法这里就不多介绍了。

确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：192.168.1.111、192.168.1.112和192.168.1.113（下文简称111，112和113），且都使用root用户。

下面是在linux平台下安装Hadoop的过程：　　在所有服务器的同一路径下都进行这几步，就完成了集群Hadoop软件的安装，是不是很简单？没错安装是很简单的，下面就是比较困难的工作了。集群配置　　根据Hadoop文档的描述“The Hadoop daemons are NameNode/DataNodeand JobTracker/TaskTracker.”可以看出Hadoop核心守护程序就是由NameNode/DataNode 和JobTracker/TaskTracker这几个角色构成。

Hadoop的DFS需要确立NameNode与DataNode角色，一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。至于NameNode/DataNode和JobTracker/TaskTracker的概念这里就不多讲了，需要了解的可以参看相关文档。

在这里我们使用111作为NameNode与JobTracker，其它两台机器作为DataNode和TaskTracker，具体的配置如下：环境的配置　　在

    H
   
   
    A
   
   
    D
   
   
    O
   
   
    O
   
   
    
     P
    
    
     H
    
   
   
    O
   
   
    M
   
   
    E
   
   
    /
   
   
    c
   
   
    o
   
   
    n
   
   
    f
   
   
    /
   
   
    h
   
   
    a
   
   
    d
   
   
    o
   
   
    o
   
   
    p
   
   
    −
   
   
    e
   
   
    n
   
   
    v
   
   
    .
   
   
    s
   
   
    h
   
   
    中
   
   
    定
   
   
    义
   
   
    了
   
   
    H
   
   
    a
   
   
    d
   
   
    o
   
   
    o
   
   
    p
   
   
    启
   
   
    动
   
   
    时
   
   
    需
   
   
    要
   
   
    的
   
   
    环
   
   
    境
   
   
    变
   
   
    量
   
   
    设
   
   
    置
   
   
    ，
   
   
    其
   
   
    中
   
   
    我
   
   
    们
   
   
    至
   
   
    少
   
   
    需
   
   
    要
   
   
    配
   
   
    置
   
   
    J
   
   
    A
   
   
    V
   
   
    
     A
    
    
     H
    
   
   
    O
   
   
    M
   
   
    E
   
   
    （
   
   
    J
   
   
    d
   
   
    k
   
   
    的
   
   
    路
   
   
    径
   
   
    ）
   
   
    变
   
   
    量
   
   
    ；
   
   
    另
   
   
    外
   
   
    我
   
   
    们
   
   
    一
   
   
    般
   
   
    还
   
   
    需
   
   
    要
   
   
    更
   
   
    改
   
   
    H
   
   
    A
   
   
    D
   
   
    O
   
   
    O
   
   
    
     P
    
    
     L
    
   
   
    O
   
   
    
     G
    
    
     D
    
   
   
    I
   
   
    R
   
   
    （
   
   
    H
   
   
    a
   
   
    d
   
   
    o
   
   
    o
   
   
    p
   
   
    的
   
   
    日
   
   
    志
   
   
    路
   
   
    径
   
   
    ）
   
   
    这
   
   
    个
   
   
    变
   
   
    量
   
   
    ，
   
   
    默
   
   
    认
   
   
    的
   
   
    设
   
   
    置
   
   
    是
   
   
    “
   
   
    e
   
   
    x
   
   
    p
   
   
    o
   
   
    r
   
   
    t
   
   
    H
   
   
    A
   
   
    D
   
   
    O
   
   
    O
   
   
    
     P
    
    
     L
    
   
   
    O
   
   
    
     G
    
    
     D
    
   
   
    I
   
   
    R
   
   
    =
   
  
  
   HADOOP_HOME/conf/hadoop-env.sh中定义了Hadoop启动时需要的环境变量设置，其中我们至少需要配置JAVA_HOME（Jdk的路径）变量；另外我们一般还需要更改HADOOP_LOG_DIR（Hadoop的日志路径）这个变量，默认的设置是“export HADOOP_LOG_DIR=
  
 
</span><span class="katex-html"><span class="base"><span class="strut" style="height: 1em; vertical-align: -0.25em;"></span><span class="mord mathdefault" style="margin-right: 0.08125em;">H</span><span class="mord mathdefault">A</span><span class="mord mathdefault" style="margin-right: 0.02778em;">D</span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord"><span class="mord mathdefault" style="margin-right: 0.13889em;">P</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.328331em;"><span class="" style="top: -2.55em; margin-left: -0.13889em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight" style="margin-right: 0.08125em;">H</span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord mathdefault" style="margin-right: 0.10903em;">M</span><span class="mord mathdefault" style="margin-right: 0.05764em;">E</span><span class="mord">/</span><span class="mord mathdefault">c</span><span class="mord mathdefault">o</span><span class="mord mathdefault">n</span><span class="mord mathdefault" style="margin-right: 0.10764em;">f</span><span class="mord">/</span><span class="mord mathdefault">h</span><span class="mord mathdefault">a</span><span class="mord mathdefault">d</span><span class="mord mathdefault">o</span><span class="mord mathdefault">o</span><span class="mord mathdefault">p</span><span class="mspace" style="margin-right: 0.222222em;"></span><span class="mbin">−</span><span class="mspace" style="margin-right: 0.222222em;"></span></span><span class="base"><span class="strut" style="height: 0.88888em; vertical-align: -0.19444em;"></span><span class="mord mathdefault">e</span><span class="mord mathdefault">n</span><span class="mord mathdefault" style="margin-right: 0.03588em;">v</span><span class="mord">.</span><span class="mord mathdefault">s</span><span class="mord mathdefault">h</span><span class="mord cjk_fallback">中</span><span class="mord cjk_fallback">定</span><span class="mord cjk_fallback">义</span><span class="mord cjk_fallback">了</span><span class="mord mathdefault" style="margin-right: 0.08125em;">H</span><span class="mord mathdefault">a</span><span class="mord mathdefault">d</span><span class="mord mathdefault">o</span><span class="mord mathdefault">o</span><span class="mord mathdefault">p</span><span class="mord cjk_fallback">启</span><span class="mord cjk_fallback">动</span><span class="mord cjk_fallback">时</span><span class="mord cjk_fallback">需</span><span class="mord cjk_fallback">要</span><span class="mord cjk_fallback">的</span><span class="mord cjk_fallback">环</span><span class="mord cjk_fallback">境</span><span class="mord cjk_fallback">变</span><span class="mord cjk_fallback">量</span><span class="mord cjk_fallback">设</span><span class="mord cjk_fallback">置</span><span class="mord cjk_fallback">，</span><span class="mord cjk_fallback">其</span><span class="mord cjk_fallback">中</span><span class="mord cjk_fallback">我</span><span class="mord cjk_fallback">们</span><span class="mord cjk_fallback">至</span><span class="mord cjk_fallback">少</span><span class="mord cjk_fallback">需</span><span class="mord cjk_fallback">要</span><span class="mord cjk_fallback">配</span><span class="mord cjk_fallback">置</span><span class="mord mathdefault" style="margin-right: 0.09618em;">J</span><span class="mord mathdefault">A</span><span class="mord mathdefault" style="margin-right: 0.22222em;">V</span><span class="mord"><span class="mord mathdefault">A</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.328331em;"><span class="" style="top: -2.55em; margin-left: 0em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight" style="margin-right: 0.08125em;">H</span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord mathdefault" style="margin-right: 0.10903em;">M</span><span class="mord mathdefault" style="margin-right: 0.05764em;">E</span><span class="mord cjk_fallback">（</span><span class="mord mathdefault" style="margin-right: 0.09618em;">J</span><span class="mord mathdefault">d</span><span class="mord mathdefault" style="margin-right: 0.03148em;">k</span><span class="mord cjk_fallback">的</span><span class="mord cjk_fallback">路</span><span class="mord cjk_fallback">径</span><span class="mord cjk_fallback">）</span><span class="mord cjk_fallback">变</span><span class="mord cjk_fallback">量</span><span class="mord cjk_fallback">；</span><span class="mord cjk_fallback">另</span><span class="mord cjk_fallback">外</span><span class="mord cjk_fallback">我</span><span class="mord cjk_fallback">们</span><span class="mord cjk_fallback">一</span><span class="mord cjk_fallback">般</span><span class="mord cjk_fallback">还</span><span class="mord cjk_fallback">需</span><span class="mord cjk_fallback">要</span><span class="mord cjk_fallback">更</span><span class="mord cjk_fallback">改</span><span class="mord mathdefault" style="margin-right: 0.08125em;">H</span><span class="mord mathdefault">A</span><span class="mord mathdefault" style="margin-right: 0.02778em;">D</span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord"><span class="mord mathdefault" style="margin-right: 0.13889em;">P</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.328331em;"><span class="" style="top: -2.55em; margin-left: -0.13889em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight">L</span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord"><span class="mord mathdefault">G</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.328331em;"><span class="" style="top: -2.55em; margin-left: 0em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight" style="margin-right: 0.02778em;">D</span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mord mathdefault" style="margin-right: 0.07847em;">I</span><span class="mord mathdefault" style="margin-right: 0.00773em;">R</span><span class="mord cjk_fallback">（</span><span class="mord mathdefault" style="margin-right: 0.08125em;">H</span><span class="mord mathdefault">a</span><span class="mord mathdefault">d</span><span class="mord mathdefault">o</span><span class="mord mathdefault">o</span><span class="mord mathdefault">p</span><span class="mord cjk_fallback">的</span><span class="mord cjk_fallback">日</span><span class="mord cjk_fallback">志</span><span class="mord cjk_fallback">路</span><span class="mord cjk_fallback">径</span><span class="mord cjk_fallback">）</span><span class="mord cjk_fallback">这</span><span class="mord cjk_fallback">个</span><span class="mord cjk_fallback">变</span><span class="mord cjk_fallback">量</span><span class="mord cjk_fallback">，</span><span class="mord cjk_fallback">默</span><span class="mord cjk_fallback">认</span><span class="mord cjk_fallback">的</span><span class="mord cjk_fallback">设</span><span class="mord cjk_fallback">置</span><span class="mord cjk_fallback">是</span><span class="mord">“</span><span class="mord mathdefault">e</span><span class="mord mathdefault">x</span><span class="mord mathdefault">p</span><span class="mord mathdefault">o</span><span class="mord mathdefault" style="margin-right: 0.02778em;">r</span><span class="mord mathdefault">t</span><span class="mord mathdefault" style="margin-right: 0.08125em;">H</span><span class="mord mathdefault">A</span><span class="mord mathdefault" style="margin-right: 0.02778em;">D</span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord"><span class="mord mathdefault" style="margin-right: 0.13889em;">P</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.328331em;"><span class="" style="top: -2.55em; margin-left: -0.13889em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight">L</span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mord mathdefault" style="margin-right: 0.02778em;">O</span><span class="mord"><span class="mord mathdefault">G</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.328331em;"><span class="" style="top: -2.55em; margin-left: 0em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight" style="margin-right: 0.02778em;">D</span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mord mathdefault" style="margin-right: 0.07847em;">I</span><span class="mord mathdefault" style="margin-right: 0.00773em;">R</span><span class="mspace" style="margin-right: 0.277778em;"></span><span class="mrel">=</span></span></span></span></span>{HADOOP_HOME}/logs”，一般需要将其配置到一个磁盘空间比较大的目录下。Hadoop核心程序配置　　Hadoop 包括一组默认配置文件（$HADOOP_HOME/src目录下的core/core-default.xml, hdfs/hdfs-default.xml 和mapred/mapred-default.xml），大家可以先好好看看并理解默认配置文件中的那些属性。虽然默认配置文件能让Hadoop核心程序顺利启动，但对于开发人员来说一般需要自己的来设置一些常规配置以满足开发和业务的需求，所以我们需要对默认配置文件的值进行覆盖，具体方法如下。</p>

$HADOOP_HOME/conf/core-site.xml是Hadoop的核心配置文件，对应并覆盖core-default.xml中的配置项。我们一般在这个文件中增加如下配置：Core-site.xml代码 file:///C:/DOCUME_1/ADMINI1/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif

    <property>        
        &lt;!-- 用于dfs命令模块中指定默认的文件系统协议 --&gt;      

        &lt;name&gt;fs.default.name&lt;/name&gt;        

        &lt;value&gt;hdfs://192.168.1.111:9000&lt;/value&gt;   

&lt;/property&gt;

fs.default.name hdfs://192.168.1.111:9000 　　$HADOOP_HOME/conf/hdfs-site.xml是HDFS的配置文件，对应并覆盖hdfs-default.xml中的配置项。我们一般在这个文件中增加如下配置：Hdfs-site.xml代码 file:///C:/DOCUME_1/ADMINI1/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif

    <property>      
        &lt;!-- DFS中存储文件命名空间信息的目录 --&gt;   

        &lt;name&gt;dfs.name.dir&lt;/name&gt;      

        &lt;value&gt;/opt/hadoop/data/dfs.name.dir&lt;/value&gt;      

&lt;/property&gt;      

&lt;property&gt;      

        &lt;!-- DFS中存储文件数据的目录 --&gt;   

        &lt;name&gt;dfs.data.dir&lt;/name&gt;        

        &lt;value&gt;/opt/hadoop/data/dfs.data.dir&lt;/value&gt;      

&lt;/property&gt;      

&lt;property&gt;      

        &lt;!-- 是否对DFS中的文件进行权限控制(测试中一般用false)--&gt;   

        &lt;name&gt;dfs.permissions&lt;/name&gt;      

        &lt;value&gt;false&lt;/value&gt;

</property>

dfs.name.dir /opt/hadoop/data/dfs.name.dir dfs.data.dir /opt/hadoop/data/dfs.data.dir dfs.permissions false 　　$HADOOP_HOME/conf/mapred-site.xml是Map/Reduce的配置文件，对应并覆盖mapred-default.xml中的配置项。我们一般在这个文件中增加如下配置：Mapred-site.xml代码 file:///C:/DOCUME_1/ADMINI1/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif

    <property>      
        &lt;!-- 用来作JobTracker的节点的(一般与NameNode保持一致) --&gt;   

        &lt;name&gt;mapred.job.tracker&lt;/name&gt;      

        &lt;value&gt;192.168.1.111:9001&lt;/value&gt;   

&lt;/property&gt;      

&lt;property&gt;      

        &lt;!-- map/reduce的系统目录（使用的HDFS的路径） --&gt;      

        &lt;name&gt;mapred.system.dir&lt;/name&gt;      

        &lt;value&gt;/system/mapred.system.dir&lt;/value&gt;      

&lt;/property&gt;      

&lt;property&gt;      

        &lt;!-- map/reduce的临时目录（可使用“,”隔开，设置多重路径来分摊磁盘IO） --&gt;   

        &lt;name&gt;mapred.local.dir&lt;/name&gt;      

        &lt;value&gt;/opt/hadoop/data/mapred.local.dir&lt;/value&gt;      

&lt;/property&gt;

mapred.job.tracker 192.168.1.111:9001 mapred.system.dir /system/mapred.system.dir mapred.local.dir /opt/hadoop/data/mapred.local.dir
主从配置　　在$HADOOP_HOME/conf目录中存在masters和slaves这两个文件，用来做Hadoop的主从配置。上面已经提到了Hadoop主要由NameNode/DataNode 和JobTracker/TaskTracker构成，在主从配置里我们一般将NameNode和JobTracker列为主机，其它的共为从机，于是对于此处的配置应该是：

    Masters代码 file:///C:/DOCUME~1/ADMINI~1/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif

 
 
 
 1

192.168.1.111

Slaves代码 file:///C:/DOCUME_1/ADMINI1/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif

192.168.1.112

192.168.1.113

192.168.1.112192.168.1.113　　如果你对以上介绍的配置项做了正确的配置，那么你的Hadoop集群只差启动和初体念了，当然，在$HADOOP_HOME/conf目录下还包括其它的一些配置文件，但那些都不是必须设置的，如果有兴趣你可以自己去了解了解。

值得注意的是Hadoop集群的所有机器的配置应该保持一致，一般我们在配置完master后，使用scp将配置文件同步到集群的其它服务器上。启动　　经过以上两个步骤，Hadoop的安装和配置已经OK了，那么下面我们就来启动Hadoop集群。启动前我们需要做一些准备，因为集群的启动是从NameNode开始的，于是DataNode的运行需要NameNode的远程调用，Hadoop使用ssh命令远程运行DataNode节点，这就是为什么Hadoop需要ssh的支持。我们可以想象一下，如果集群里有100台机器，那么我们就需要输入100遍主机的访问密码，但如果配置SSH使用无密码公钥认证的方式，就解决了此问题。

简单的说，在111上需要生成一个密钥对，即一个私钥和一个公钥。将公钥拷贝到112和113上，如此一来，当111向112发起ssh连接的时候，112上就会生成一个随机数并用111的公钥对这个随机数进行加密，并且发送给111，111收到这个加密的数以后用私钥进行解密，并将解密后的数返回112，112确认解密的数无误后就允许111进行连接了。这就完成了一次公钥认证过程。

公钥生成的步骤如下：　　然后将id_rsa.pub的内容复制到每个机器（也包括本机）的_{/.ssh/authorized_keys文件中。如果authorized_keys不存在，则使用touch}/.ssh/authorized_keys生成一个；如果该文件已经存在，则追加内容进去就OK了，这里我们推荐使用如下命令：　　经过以上步骤，我们的无密码访问就配置好了，可以通过如下命令进行验证：　　如此一来，就可以正常启动Hadoop集群了。启动方式如下：　　我们用如下命令验证一下是否启动成功：　　如果没有错误提示或者出现文件列表，那么恭喜你，Hadoop成功启动了，另外，我们可以通过访问http://192.168.1.111:50070来查看hdfs的状态，访问http://192.168.1.111:50030来查看map/reduce的状态。

如果出现错误，或Hadoop集群未启动，可以查看$HADOOP_HOME/logs/下的日志文件。
更多内容参阅hadoop集群文档

qq_38462168

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
快速搭建Hadoop集群的教程

Hadoop集群安装　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。准备安装Hadoop集群之前我们得先检验系...
复制链接

扫一扫

专栏目录