HBase
诸葛子房_
先后就职于京东和BAT,在大数据领域有多年工作经验;
Apache Griffin&&Apache Zeppelin Contributor,dataCompare和dataService作者
展开
-
一种HBase表数据迁移方法的优化
一种HBase表数据迁移方法的优化1.背景调研:目前存在的hbase数据迁移主要分如下几类:根据上图,可以看出:其实主要分为两种方式:(1)hadoop层:因为hbase底层是基于hdfs存储的,所以可以通过把hdfs上的数据拷贝的方式来实现,即:DistCp。(2)hbase层:主要是基于hbase数据层的CopyTable:需要scan全表数据,效率比较低下...原创 2018-09-07 18:47:00 · 158 阅读 · 0 评论 -
hbase系列
hbase系列jvmhttps://www.cnblogs.com/jiyukai/p/6665199.htmlhbasehttps://blog.csdn.net/lizhitao/article/details/52499668posted @ 2018-11-06 18:15 诸葛子房 阅读(...) 评论(...) 编辑 收藏...原创 2018-11-06 18:15:00 · 154 阅读 · 0 评论 -
HBase读取与写入流程
写入流程WAL(日志文件)、MemStore(内存)MemStore flush到HFile参考LSM Tree流程:https://www.cnblogs.com/yanghuahui/p/3483754.html写性能优化读取流程读性能优化可参考:https://yq.aliyun.com/articles/670748?sp...原创 2019-01-04 20:32:00 · 517 阅读 · 0 评论 -
写入内容丢失,各种数据库或者存储系统如何处理?
突发宕机,Kafka写入的数据如何保证不丢失?我们暂且不考虑写磁盘的具体过程,先大致看看下面的图,这代表了 Kafka 的核心架构原理。Kafka 分布式存储架构那么现在问题来了,如果每天产生几十 TB 的数据,难道都写一台机器的磁盘上吗?这明显是不靠谱的啊!所以说,这里就得考虑数据的分布式存储了,我们结合 Kafka 的具体情况来说说。在 Kafka 里面,有一个核心...原创 2019-08-02 10:01:19 · 365 阅读 · 0 评论 -
HBase 安装
windows HBase 安装本文转载自https://www.cnblogs.com/davidwang456/p/9026519.html下载目前最新版本http://mirrors.hust.edu.cn/apache/hbase/stable/最新版本hbase-1.2.61. 解压到D:\software\hbase-1.2.6进入conf目录配置hb...原创 2019-05-06 16:11:00 · 146 阅读 · 0 评论 -
HBase java API
1.pom<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.5</version></dependency>2.api...原创 2019-09-17 17:58:49 · 182 阅读 · 0 评论