hbase
Mr_小白不白
这个作者很懒,什么都没留下…
展开
-
kafka-connect-hbase 写入性能调优
在实践中需要将kafaka中的数据写入到hbase 中,采用了kafka-connect-hbase这个扩展插件,但经过性能测试,写入速度较低,平均在200条/s左右,无法满足线上8000万数据的实时写入,但采用hbase的压测工具测试写入速度可达10000条/s以上,故对kafka-connect-hbase进行了性能测试。思路如下,在kafka-connect-hbase的关键步骤中...原创 2019-02-18 19:13:16 · 1387 阅读 · 0 评论 -
hbase metric 监控项
通过jmx可访问hbase master 和 regionserver 的metric ,请求地址如下: hbase master: http://masterip:port/jmx hbase regionserver: http://regionserver:port/jmx梳理重要的metric指标如下:role beanname Item ...原创 2019-03-06 11:13:31 · 963 阅读 · 0 评论 -
phoenix安装在指南
首先需要根据phoenix官网download 下载相关的对应版本的tar包,如果hbase是通过CDH安装则选择4.14.0相关版本,并且经本人测试,4.14.0-cdh5.11.2版本可与CDH5.7.1版本兼容。 (1)解压缩4.14.0-cdh5.11.2.tar (2)配置环境变量 执行vim /etc/profile修改hbase...原创 2019-03-14 16:58:59 · 317 阅读 · 0 评论 -
hbase coprocessor 验证
hbase coprocessor 提供了并行计算能力,有效地减少了客户端的压力,充分利用分析式计算的优势。 测试目标:在插入表中的某个列族时,如果发现列族的中未含有相关列,则自送添加上。 (1)hbase创建表create 'uuidtest', {NAME => 'refrigerator', VERSIONS => 1}, {NAME...原创 2019-03-14 17:17:52 · 272 阅读 · 0 评论 -
hbase 主备集群切换方法
hbase 提供了replication机制,实现在两个集群之间的双向同步功能,其基本原理是根据WAL日志进行同步,具体可参照https://hbase.apache.org/1.2/book.html#_cluster_replication, 在搭建主备同步hbase集群之后,很重要一点要正确的切换访问的hbase集群,而且对于客户端的访问来讲是无感知的,其解决方案如...原创 2019-04-03 14:42:26 · 3224 阅读 · 0 评论