![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 67
KD_
这个作者很懒,什么都没留下…
展开
-
SimpleDateFormat和Table(HBase)的并发问题
背景 最近项目里出现了两个bug,找了很久,最后发现都是因为多线程并发导致的问题,所以在此记录。项目主要是做时空数据库,点线面等时空数据的查询。 问题描述: 对于点数据,我们在导入HBase时,会对其进行进行时空编码(time + Zorder)作为Rowkey,但是在利用时空索引进行时空查询时,竟然出现了不在时间范围内的点数据。 在对HBase进行scan查询时,由于时空范围的分解会生成多个scan range,所以利用线程池提交多个查询任务进行并发查询,但是最后查询的会漏查一些数据。 解决 对于第原创 2021-05-31 16:49:44 · 169 阅读 · 0 评论 -
HBase BulkLoad Spark实现过程及一些问题
文章目录HBase储存原理BulkLoadMaven重复依赖maven对于重复依赖的处理方式解决方案Spark导入HBase classpath HBase储存原理 HBase存储数据其底层使用的是HDFS来作为存储介质,HBase的每一张表对应的HDFS目录上的一个文件夹,文件夹名以HBase表进行命名(如果没有使用命名空间,则默认在default目录下),在表文件夹下存放在若干个Region命...原创 2020-04-25 19:38:49 · 739 阅读 · 3 评论