hbase
一点晴
这个作者很懒,什么都没留下…
展开
-
linux下c++通过JNI调用JAVA的jar实现跨语言集成
做系统集成,有时可能会遇到各种需求和问题。跨语言之间如何通信集成更是平常的工作。最近遇到的问题就时,有一个系统服务是c++编写的,其中需要接收外部的消息然后存储到hbase集群中。 服务基本完成后,测试写入速度性能,居然每秒最多才500条,每掉数据也不是很大8k左右。因为hbase对java意外的支持是通过thrift2中间件实现的,与java的API机制不同,看了...原创 2019-07-18 10:05:08 · 614 阅读 · 0 评论 -
C++通过thrfit2高效读写HBase
hbase没有提供直接供c++的访问方法,而是通过thrift2服务提供。如需要通过c++访问hbase就需要hbase开启thrift server。开启方法:$HBASE_HOME/bin/hbase-daemon.sh start thrift2 -t 60000thrift server默认开启9090端口。hbase对客户端读取有超时策略,默认1分钟,启动时可通过-t参数...原创 2019-08-02 10:38:13 · 805 阅读 · 0 评论 -
murmurhash用于hbase数据均衡分配,真正的避免热点读写.
系统中使用hbase作为存储,由于hbase的特性,数据存储在多个分区region上。为了避免分区region的热点读写,需要将数据可以平均分配到每个region上。算法就是通过murmurhash,根据时间的推移、分区region个数进行计算。#define TIME_PAST(X,B) \({ \int year, month, day, hour, minute, s...原创 2019-08-02 10:45:01 · 423 阅读 · 0 评论