单独部署secondarynamenode

最新推荐文章于 2022-10-12 20:56:13 发布

小象也能飞

最新推荐文章于 2022-10-12 20:56:13 发布

阅读量1.1k

点赞数

分类专栏： Hadoop

Hadoop 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

转自：http://blog.chinaunix.net/uid-23916356-id-3276872.html

原文：

hadoop+hbase+zookeeper集群环境已初步搭建完毕了。但是真正用于生产环境的集群系统必须规范，所以secondarynamenode不可能和namenode部署在同一节点上，于是乎我将secondarynamenode部署在一台datanode上，当然我这条件不允许，最佳的环境就是secondarynamenode单独部署在一台机器上，这样更好！当日secondarynamenode节点可以部署多个。只需要再masters文件里面多写几个节点即可！一行一个！

引用别人的一段话：

SecondaryNameNode有两个作用，一是镜像备份，二是日志与镜像的定期合并。两个过程同时进行，称为checkpoint
总共分五步：
1.SecondaryNameNode通知NameNode准备提交edits文件，此时主节点产生edits.new
2.SecondaryNameNode通过http get方式获取NameNode的fsimage与edits文件（在SecondaryNameNode的current同级目录下可见到temp.check-point或者previous-checkpoint目录，这些目录中存储着从namenode拷贝来的镜像文件）
3.SecondaryNameNode开始合并获取的上述两个文件，产生一个新的fsimage文件fsimage.ckpt
4.SecondaryNameNode用http post方式发送fsimage.ckpt至NameNode
5.NameNode将fsimage.ckpt与edits.new文件分别重命名为fsimage与edits，然后更新fstime，整个checkpoint过程到此结束。
环境介绍：

系统版本均属于redhat 4.8

192.168.15.95   master
192.168.15.72   slave1
192.168.15.71   slave2
192.168.15.132 slave3
下面我将secondarynamenode部署在slave3节点上。

首先你的hadoop的masters文件里面写的是部署secondarynamenode节点的主机名。改完后记得同步到所有节点上。（这个我前面的文章有介绍）

其次就是直接在你的secondarynamenode节点上做修改就可以了

1、修改core-site.xml文件，增加如下内容：

    <property>
          <name>fs.checkpoint.period</name>               默认检查时间是1小时，这里以秒结尾。
          <value>3600</value>
    </property>
    <property>
          <name>fs.checkpoint.size</name>                 默认检查块大小是64M。
          <value>67108864</value>
    </property>
    <property>
          <name>fs.checkpoint.dir</name>
          <value>/data/work/hdfs/namesecondary</value>

</property>
最后的fs.checkpoint.dir这个值是根据你的dfs.name.dir值去参考，我的这个就是如下图所示：

<name>dfs.name.dir</name>
<value>/data/work/hdfs/name</value>
2、修改hdfs-site.xml文件，修改如下内容：

<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>

<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>

请将0.0.0.0修改为你要部署secondarynamenode节点的主机名，我这里就是写master

3、重启hadoop（步骤省略）

4、测试secondarynamenode部署是否正确？

可以检查secondarynamenode的日志，或者直接查看/data/work/hdfs/namesecondary目录下是否有一些文件呢？如果我没记错的话，这里一般会是1小时之后才会出现完整的日志和映像。如下图所示：

[hadoop@slave3 namesecondary]$ ll
总用量 12
drwxrwxr-x 2 hadoop hadoop 4096 7月 17 13:51 current
drwxrwxr-x 2 hadoop hadoop 4096 7月 11 19:36 image
-rw-rw-r-- 1 hadoop hadoop 0 7月 16 17:28 in_use.lock
drwxrwxr-x 2 hadoop hadoop 4096 7月 17 13:46 previous.checkpoint

当然最主要的是有了这些文件你就可以去恢复namenode节点了！当然数据肯定会有丢失，因为默认是1小时同步一次！不建议新手将检查时间设置的很小，因为这样会增大namenode的负载，平常我们不会拿secondarynamenode的日志去恢复，除非万不得已的情况，因为我们有更好，更实时的备份方法。这里以后再介绍！