teriy-CSDN博客

原创 Hbase Replication 介绍

Hbase Replication 介绍现状 Hbase 的replication目前在业界使用并不多见，原因有很多方面，比如说HDFS目前已经有多份备份在某种程度上帮助HBASE底层数据的安全性，而且很多公司的集群规模比较小并且对数据重要程度并不是很高，比如一些日志系统或者是作为一个历史数据的第二个仓库，来分流大量的读请求。这样及时数据丢失了也可以在其他的地方（数据库集群）中找回

2012-12-26 14:13:52 13906 2

原创 HBASE 的Hlog 如果采用压缩格式，则无法使用Seek功能

最近在测试hbase 的replication特性的时候发现如果打开下列选项，文件解析会有错误产生。配置：hbase.regionserver.wal.enablecompressiontrue错误日志：java.lang.IndexOutOfBoundsException: index (2) must be less than size (1)at co

2012-09-11 18:13:20 2638

原创 Hbase Scanner 排序标准

KeyValueHeap 中定义对 KVScannerComparator 比较标准顺序如下：1. 根据TOP rowkey 排序。 RowKey 排序如下 a). row Key的byte值正向排序 b). row type 是否是Minimum. 谁是Min 谁值最大（左值优先），排在队列后面 c). column 和 Qualifier 正

2011-12-08 14:25:38 4248

原创 Hbase Master RIT(Region in Transaction)分析

RIT 的全称是region in transcation. 每次hbase master 对region 的一个open 或一个close 操作都会想Master 的RIT中插入一条记录,因为master 对region 的操作要保持原子性,region 的 open 和 close 是通过Hmaster 和 region server 协助来完成的. 所以为了满足这些操作的协调,回滚,和一致性

2011-10-21 16:12:17 4134

原创 Hbase增加Snappy压缩格式的调研

Snappy压缩方式已经被合成到官方的版本0.92之中，我在0.90的版本上打的补丁使用的是链接（https://issues.apache.org/jira/browse/HBASE-3691）中hbase-snappy-3691-trunk.patch的patch.安装步骤如

2011-10-17 09:40:18 4818 2

原创 Hbase region空洞修复工具

众所周知,Hbase 中随着某个table 数量的增多必然会分裂成多个region,这些region 中的start-key 和 end-key 首位相连组成一个闭环.如下图所示在表健康的时候可以用hbck工具来扫描整个表.结果当然是健康的状态hbase hbck

2011-10-12 16:55:36 3939

原创 HADOOP datanode SendBlock毛刺现象分析

这几天研究HDFS的datanode 和 client端的数据通信,发现目前datanode是使用NIO来做底层通信的.在datanode的DataXceiver的readBlock方法就是将datanode的block中的数据发送到客户端或者其他的datanode中去.我们可以

2011-08-17 14:50:50 2503

原创 SSD VS HDD 在INNODB 上的性能比较

由于项目后端存储的需要，需要高性能的存储设备。特此比较Fusion IO （80G）和 RAID5 的mysql性能,采用sysbench v0.4.8 来测试//innodb中创建100k条数据./sysbench --test=oltp --mysql-table-engine=innodb --oltp-table-size=1000000 --mysql-socket=/tmp/mysql1.sock prepare --mysql-user=terry --mysql-password=ter

2011-03-16 11:10:00 2390

原创 mysql 源码编译步骤

<br />本文简述在linux环境下编译调试mysql源码方法。下载源码并解压。下载路径：http://www.mysql.com/downloads/mysql/ 选择source包下载。解压。tar -xvf mysql-5.1.48.tar.gz编译。我采用的编译选项为：./configure --prefix=/usr/local/mysql-dbg --with-extra-charsets=complex --enable-thread-safe-client --enable-local-i

2010-10-28 15:25:00 2071

原创 IO Cache 对于 Mysql Binary log 写入的影响

由于工作需要，需要确认IO_CACHE对于mysql binary log的安全性的影响，在系统崩溃的情况下对于存在IO_CACHE是否会影响数据的安全性。本文主要根据mysql 源代码分析mysql binary log 中IO_CACHE的相关原理的应用。

2010-10-28 12:03:00 2834

Terry Zhang Data Solution