hbase的replication使用

转载 2012年07月06日 16:54:23

原地址:http://koven2049.iteye.com/blog/983633

hbase-0.90.0的一个重要改进是引入了replication机制,使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善,但是今后必然会变得更加重要。 

hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlog来实现的。当请求发送给master cluster时,hlog日志放入hdfs的同时进入replication队列,由slave cluster通过zookeeper获取并写入slave的表中。目前的版本仅支持一个slave cluster 



具体配置如下: 
1 需要保证主从cluster上有相同的table,并且结构一致,都enable 
2 保证主从cluster的版本都在0.90.0以上 
3 主从cluster的机器是两两互通的 
4 master cluster的hbase-site.xml中需要添加以下选项: 

Xml代码  收藏代码
  1. <property>  
  2.   <name>hbase.replication</name>  
  3.   <value>true</value>  
  4. </property>  

5 进入master cluster的shell,执行: 
add_peer '1', "slave-zk-1,slave-zk-2,...:slave-2181:/slave-zk-parent" 
6 开启要复制的family,进入hbase shell,执行: 
Java代码  收藏代码
  1. disable 'your_table'  
  2. alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}  
  3. enable 'your_table'  

  此时replication己经开始了 
7 要中止或继续replication,使用stop_replication或start_replication 

在复制过程中,可以通过查看regionserver的日志来跟踪复制的进度: 
Considering 1 rs, with ratio 0.1 
Getting 1 rs from peer cluster # 0 
Choosing peer yourip:62020 

要检查复制的数据是否完整,可以利用hbase提供的小工具verifyrep: 
Java代码  收藏代码
  1. hbase org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication --starttime=1265875194289 --stoptime=1265878794289 1 TestTable  

这里的1是上面的peer_id 

更完整的说明见:http://hbase.apache.org/replication.html

hbase regionserver总出现自动down的情况排查

最近在调试hbase,10台节点,服务正常后,写入数据,总是出现regionserver自动down的情况,查看日志如下: 2016-05-04 13:29:09,690 WARN  [region...
  • levy_cui
  • levy_cui
  • 2016年05月05日 17:00
  • 3765

各hbase版本对hadoop各版本的支持情况

http://hbase.apache.org/book.html#configuration  Hadoop The following table summarizes the ver...
  • javastart
  • javastart
  • 2016年05月06日 10:42
  • 11717

hbase是否能取代mysql

代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发,后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发,支付宝流计算与分布式搜索系统的设计和研发,后成为支付宝海...
  • cqboy1991
  • cqboy1991
  • 2014年05月20日 14:55
  • 3226

HBase replication使用

hbase-0.90.0的一个重要改进是引入了replication机制,使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善,但是今后必然会变得更加重要。 hbase的replication...
  • yueyedeai
  • yueyedeai
  • 2013年11月24日 22:24
  • 815

Elasticsearch-HBase-replication同步

  • 2017年05月11日 23:25
  • 27KB
  • 下载

HBase Replication源码解析之HLog读取

本文分析了HBase Replication中的源码实现,主要针对Replication中hlog的读取模块进行了分析,通过本文读者可以了解hlog读取所使用到的类以及其处理流程...
  • bryce123phy
  • bryce123phy
  • 2016年07月21日 14:14
  • 853

HBase Replication 流程介绍 与 可靠性测试

1.  Replication 大致流程
  • mt0803
  • mt0803
  • 2014年09月10日 18:12
  • 855

hadoop、hbase的数据备份数(dfs.replication)问题

今天启动hadoop文件系统一直处理安全模式,日志报错(The ratio of reported blocks 0.9714 has not reached the threshold 0.9990...
  • bingjie1217
  • bingjie1217
  • 2013年11月13日 11:30
  • 3946

VMware vSphere Replication 5.1 使用指南

  • 2013年05月26日 11:51
  • 1.13MB
  • 下载

使用MMM实现MySQL Replication的高可用

  • 2010年10月11日 09:55
  • 16KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hbase的replication使用
举报原因:
原因补充:

(最多只允许输入30个字)