单独部署secondarynamenode

转载 2013年12月01日 23:11:20

转自:http://blog.chinaunix.net/uid-23916356-id-3276872.html

原文:

hadoop+hbase+zookeeper集群环境已初步搭建完毕了。但是真正用于生产环境的集群系统必须规范,所以secondarynamenode不可能和namenode部署在同一节点上,于是乎我将secondarynamenode部署在一台datanode上,当然我这条件不允许,最佳的环境就是secondarynamenode单独部署在一台机器上,这样更好!当日secondarynamenode节点可以部署多个。只需要再masters文件里面多写几个节点即可!一行一个!
引用别人的一段话:
SecondaryNameNode有两个作用,一是镜像备份,二是日志与镜像的定期合并。两个过程同时进行,称为checkpoint 
总共分五步: 
1.SecondaryNameNode通知NameNode准备提交edits文件,此时主节点产生edits.new 
2.SecondaryNameNode通过http get方式获取NameNode的fsimage与edits文件(在SecondaryNameNode的current同级目录下可见到temp.check-point或者previous-checkpoint目录,这些目录中存储着从namenode拷贝来的镜像文件) 
3.SecondaryNameNode开始合并获取的上述两个文件,产生一个新的fsimage文件fsimage.ckpt 
4.SecondaryNameNode用http post方式发送fsimage.ckpt至NameNode 
5.NameNode将fsimage.ckpt与edits.new文件分别重命名为fsimage与edits,然后更新fstime,整个checkpoint过程到此结束。 
环境介绍:
系统版本均属于redhat 4.8
192.168.15.95   master
192.168.15.72   slave1
192.168.15.71   slave2
192.168.15.132  slave3
下面我将secondarynamenode部署在slave3节点上。
首先你的hadoop的masters文件里面写的是部署secondarynamenode节点的主机名。改完后记得同步到所有节点上。(这个我前面的文章有介绍)
其次就是直接在你的secondarynamenode节点上做修改就可以了
1、修改core-site.xml文件,增加如下内容:
    <property>
          <name>fs.checkpoint.period</name>               默认检查时间是1小时,这里以秒结尾。
          <value>3600</value>
    </property>
    <property>
          <name>fs.checkpoint.size</name>                 默认检查块大小是64M。
          <value>67108864</value>
    </property>
    <property>
          <name>fs.checkpoint.dir</name>
          <value>/data/work/hdfs/namesecondary</value>           
    </property>
最后的fs.checkpoint.dir这个值是根据你的dfs.name.dir值去参考,我的这个就是如下图所示:
  <name>dfs.name.dir</name>
  <value>/data/work/hdfs/name</value>
2、修改hdfs-site.xml文件,修改如下内容:
<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:50070</value>     
  <description>
    The address and the base port where the dfs namenode web ui will listen on.
    If the port is 0 then the server will start on a free port.
  </description>
</property>
请将0.0.0.0修改为你要部署secondarynamenode节点的主机名,我这里就是写master
3、重启hadoop(步骤省略)
4、测试secondarynamenode部署是否正确?
可以检查secondarynamenode的日志,或者直接查看/data/work/hdfs/namesecondary目录下是否有一些文件呢?如果我没记错的话,这里一般会是1小时之后才会出现完整的日志和映像。如下图所示:
[hadoop@slave3 namesecondary]$ ll
总用量 12
drwxrwxr-x  2 hadoop hadoop 4096  7月 17 13:51 current
drwxrwxr-x  2 hadoop hadoop 4096  7月 11 19:36 image
-rw-rw-r--  1 hadoop hadoop    0  7月 16 17:28 in_use.lock
drwxrwxr-x  2 hadoop hadoop 4096  7月 17 13:46 previous.checkpoint
当然最主要的是有了这些文件你就可以去恢复namenode节点了!当然数据肯定会有丢失,因为默认是1小时同步一次!不建议新手将检查时间设置的很小,因为这样会增大namenode的负载,平常我们不会拿secondarynamenode的日志去恢复,除非万不得已的情况,因为我们有更好,更实时的备份方法。这里以后再介绍!

Spark独立部署模式

Spark独立部署模式 原文连接:http://spark-project.org/docs/latest/spark-standalone.html 翻译的水平有限,欢迎批评指正,转载请注明出处。 ...
  • bluetropic
  • bluetropic
  • 2013年07月22日 16:35
  • 6941

基于hadoop2.2的namenode与SecondaryNameNode分开配置在不同的计算机

前段时间由于配置hadoop做实验,再往山
  • zzu09huixu
  • zzu09huixu
  • 2014年07月04日 11:57
  • 9788

Secondary NameNode:它究竟有什么作用?

前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防...
  • xh16319
  • xh16319
  • 2014年06月16日 14:14
  • 19877

hadoop的伪分布式模式配置与安装

hadoop的伪分布式模式配置与安装   上次对hadoop单机模式中已经介绍了hadoop的基本安装,本次将讲解hadoop的伪分布式模式进行对hadoop的基本模拟部署。   安装软件:     ...
  • u013008795
  • u013008795
  • 2016年04月12日 15:22
  • 2043

ActiveMQ使用与部署

1 JMS与MQ  1.1 JMS JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并...
  • lonely001
  • lonely001
  • 2013年04月07日 14:01
  • 5179

Hadoop2.2.0伪分布式中HDFS简述

Hadoop2.x的伪分布式下的HDFS概述
  • u012802702
  • u012802702
  • 2016年05月26日 13:48
  • 1580

Tomcat独立应用部署

一个tomcat部署一个应用,我自己体会到的好处是在html中一些静态文件获取的时候不需要考虑相对路径或者绝对路径都以/开头就行。1.在eclipse中的配置如果是想在eclipse中配置独立应用,打...
  • oDeviloo
  • oDeviloo
  • 2016年03月25日 14:40
  • 1045

如何将phantomjs单独部署在服务端

一. 容我分析(lao dao)几句 之前写了2篇 highcharts 结合 phantomjs 后端生成图片的文章, http://www.peng8.net/2014/07/21/ren...
  • brandon2015
  • brandon2015
  • 2016年01月10日 13:04
  • 821

cxf-rs在单独felix或equinox中的部署

先讲一下我是如何一步一步加载cxf-rs的包的,过程比较坎坷啊。 首先,下载最新的karaf,apache-karaf-2.3.2,解包后,运行,在console输入features:addurl h...
  • u011154682
  • u011154682
  • 2013年07月23日 11:30
  • 1331

Dubbo服务的部署

一、Dubbo服务的运行方式: 1、使用Servlet容器运行(Tomcat、Jetty等)----不可取   缺点:增加复杂性(端口、管理)       浪费资源(内存) 2、自建Main方法类来运...
  • x1066988452
  • x1066988452
  • 2016年09月27日 19:48
  • 1916
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:单独部署secondarynamenode
举报原因:
原因补充:

(最多只允许输入30个字)