![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
123.56.119.133:8090
http://123.56.119.133:8090/
展开
-
Hbase 批量提交源码分析
文章目录Hbase batch()方法源码学习背景hbase版本方法介绍AsyncRequestFutureImpl类的组成结构参考链接Hbase batch()方法源码学习背景项目中,常常会向hbase中存储东西,put()也是会向hbase中存储,但是batch可以批处理方式进行存储,效率更快,所以自己决定学习和分析下batch()源码hbase版本hbase1.3.1, 不同...原创 2019-11-08 15:58:52 · 723 阅读 · 0 评论 -
InterfaceAudience 简单介绍
文章目录InterfaceAudience 简单介绍背景介绍源码解释InterfaceAudience 简单介绍背景学习hbase源码中,经常看到有这样的注解InterfaceAudience, 不太理解是什么意思,所以进行资料查阅,并结合hbase中的源码进行总结一下介绍源码//// Source code recreated from a .class file by Int...原创 2019-11-07 21:18:29 · 1668 阅读 · 0 评论 -
布隆过滤器
文章目录布隆过滤器简介适用场景布隆过滤器原理举例codeBytesBloomFilter测试用例Test布隆过滤器简介适用场景可以高效的判断元素w是否在集合A之中布隆过滤器原理布隆过滤器由一个长度为N的01数组array组成,首先将数组array每个元素设置为0,对集合A中的每个元素w, 做k次哈希, 每一次hash后对N取模得到一个index(i), 即index(i) = HA...原创 2019-10-23 16:21:47 · 416 阅读 · 0 评论 -
使用Spark通过Bulkload的方式导数据到Hbase
文章目录Spark通过Bulk Load 写入Hbase 背景 BulkLoad Bulk Load的实现原理 使用Put普通的方式 java put方式 使用 Bulk Load方式导入数据 数据准备 maven依赖 完整代码 Hbase中结果 总结 其他 Spark通过Bul...原创 2019-08-10 16:14:17 · 1097 阅读 · 1 评论 -
Hbase-Trying to load more than 32 hfiles to one family of one region
BulkLoad方式优化 背景 问题分析 解决方案 方式一:spark DataFrame写入Hive临时表前进行coalesce(30) 方式二: 参考链接 BulkLoad方式优化背景项目中使用到Hbase BulkLoad方式插入数据,当数据量较大时或小文件过多时,任务失败: 报错:Exception in thread "main" jav...原创 2019-08-24 10:06:46 · 1142 阅读 · 0 评论