- 博客(5)
- 收藏
- 关注
RSS订阅原创 java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStream；Z)V
1. 现象在利用Spark和Kafka处理数据时，有时会同时在maven pom中引入Spark和Kafka的相关依赖。但是当利用Spark SQL处理数据生成的DataSet/DataFrame进行collect或者show等操作时，抛出以下异常信息：in stage 3.0 (TID 403, localhost, executor driver): java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init&g
2020-08-31 16:37:06
2182
原创 通过Spark生成HFile，并以BulkLoad方式将数据导入到HBase
在实际生产环境中，将计算和存储进行分离，是我们提高集群吞吐量、确保集群规模水平可扩展的主要方法之一，并且通过集群的扩容、性能的优化，确保在数据大幅增长时，存储不能称为系统的瓶颈。具体到我们实际的项目需求中，有一个典型的场景，通常会将Hive中的部分数据，比如热数据，存入到HBase中，进行冷热分离处理。我们采用Spark读取Hive表数据存入HBase中，这里主要有两种方式：通过HBase的put API进行数据的批量写入通过生成HFile文件，然后通过BulkLoad方式将数据存入HBas
2020-08-27 19:57:53
1462
原创 Databricks说的Lakehouse是什么？
在过去的几年里，Lakehouse作为一种新的数据管理范式，已独立出现在Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。数据仓库在决策支持和商业智能应用方面有着悠久的历史。自20世纪80年代末问世以来，数据仓库技术一直在持续不断的发展，并且MPP体系架构使系统能够处理更大的数据量。尽管数据仓库非常适合处理结构化数据，但是对于很多现代企业，对非结构化数据、半结构化数据以及具有高多样性、高速度、高容量特性的数据处理也往往是必须的，数据仓库并不适用于此.
2020-08-25 14:03:59
1157
1
原创 内存泄漏、内存溢出和堆外内存，JVM优化参数配置
内存泄漏内存泄漏是指程序在申请内存后，无法释放已申请的内存空间，无用对象（不再使用的对象）持续占有内存或无用对象的内存得不到及时释放，从而造成内存空间的浪费。内存泄漏最终会导致OOM。造成内存泄漏典型场景：1.单例模式的不正确使用单例对象在初始化后将在JVM的整个生命周期中以静态变量的方式存在。如果单例对象持有对外部对象的引用，那么这个对象将不能被JVM正常回收2.数据库、网络、IO连接没有被关闭释放这类连接，一般会提供close方法进行显式关闭。但如果没有进行close，是不会自动被gc回收的。
2020-08-18 20:33:05
799
原创 HBase高级特性（布隆过滤器和协处理器）、列族设计、rowkey设计以及热点问题处理
在阐述HBase高级特性和热点问题处理前，首先回顾一下HBase的特点：分布式、列存储、支持实时读写、存储的数据类型都是字节数组byte[]，主要用来处理结构化和半结构化数据，底层数据存储基于hdfs。同时，HBase和传统数据库一样提供了事务的概念，但是HBase的事务是行级事务，可以保证行级数据的原子性、一致性、隔离性以及持久性。布隆过滤器在HBase中的应用布隆过滤器（Bloom Filter）是空间利用效率很高的数据结构，利用位数组表示一个集合，判断一个元素是否属于该集合。但存在一定的错误率，
2020-08-13 19:36:46
630
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人