- 博客(3)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 SimpleDateFormat和Table（HBase）的并发问题
背景最近项目里出现了两个bug，找了很久，最后发现都是因为多线程并发导致的问题，所以在此记录。项目主要是做时空数据库，点线面等时空数据的查询。问题描述：对于点数据，我们在导入HBase时，会对其进行进行时空编码（time + Zorder）作为Rowkey，但是在利用时空索引进行时空查询时，竟然出现了不在时间范围内的点数据。在对HBase进行scan查询时，由于时空范围的分解会生成多个scan range，所以利用线程池提交多个查询任务进行并发查询，但是最后查询的会漏查一些数据。解决对于第
2021-05-31 16:49:44
184
原创 Spark 类加载器导致的Kryo序列化问题
文章目录背景Spark类加载器MutableURLClassLoader和ChildFirstURLClassLoaderMutableURLClassLoaderChildFirstURLClassLoader问题分析验证背景最近项目中设计到Spark BulkLoad Hbase，需要将一个自定义类的对象序列化成字节数组，存到Hbase中。考虑到Spark自带了java通用的Kryo序列化框架，所以参考网上的代码用Kryo实现了一个通用的序列化方法 public class KryoUtils {
2021-05-25 17:12:42
1411
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人