kylin cube kafka streaming LZ4Exception异常

最新推荐文章于 2023-12-22 21:00:00 发布
最新推荐文章于 2023-12-22 21:00:00 发布
阅读量781 收藏
点赞数
分类专栏： IT kafka hadoop kylin JAVA 文章标签： kafka kylin hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mpren/article/details/82021316
版权
在构建Kylin Cube并使用Kafka Streaming消费topic时，遇到LZ4Exception异常。问题源于Kafka消息使用lz4压缩算法，而Hadoop NodeManager的mapreduce lib目录缺少相应依赖。解决方案是将Kafka的lz4.jar上传到所有NodeManager节点，确保一致性。
摘要由CSDN通过智能技术生成

在kylin cube中使用kafka streaming消费topic,消息的生成加密方式如下采用lz4算法,运行中发生异常中断cube。

  • kafka 消息加密方式
    configMap.put(StreamsConfig.producerPrefix(ProducerConfig.COMPRESSION_TYPE_CONFIG), “lz4”);
Error: java.lang.ClassNotFoundException: net.jpountz.lz4.LZ4Exception at 
java.net.URLClassLoader.findClass(URLClassLoader.java:381) at  
java.lang.ClassLoader.loadClass(ClassLoader.java:424) at 
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) at 
java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.Class.forName0(Native Method) at 
java.lang.Class.forName(Class.java:264) at 
org.apache.kafka.common.record.MemoryRecordsBuilder$4.get(MemoryRecordsBuilder.java:82
最低0.47元/天 解锁文章
AI干IT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
运行SparkStreaming 示例代码报错：Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
weixin_30118267的博客
06-14 557
1、问题描述： 运行官网文档中Spark Streaming 读取socket流 实例代码报错： 环境为kafka 0.9 + Spark 2.4 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark.io.LZ4CompressionCodec.compressedInputStrea
java.lang.classnotfoundexception解决方法
热门推荐
weixin_30342827的博客
07-11 9万+
java.lang.classnotfoundexception解决方法 1.java运行环境的jdk版本比class文件的编译版本低了导致 2.class文件的访问权限或者所在目录的访问权限有问题,导致java无法读这个文件 3.jar包有错误,查看jar是否有漏或者重新导入jar包 出现java.lang.classnotfoundexception问题真的是很烦人，找资料解决问题...
spark lz4包冲突
yx_keith的博客
07-15 641
使用spark读取kafka分析的时候，kafka 的startingOffsets如果设置为earliest，就会报错： java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 使用mvn -Dverbose dependency:tre...
spark java 报错_Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream...
weixin_42347731的博客
03-01 332
问题描述今天在做项目过程中，在使用java语言创建DataFrame在窗口打印数据，编译时总是报错，通过查阅资料最终问题得到解决。记录如下：开发环境为spark2.3 + kafka0.9.0。编辑软件使用的 IntelliJ IDEA，使用的语言是java语言。在进行ds的输出时出现如下错误：Exception in thread “main” java.lang.NoSuchMethodErr...
SparkStreaming 遇到LZ4BlockInputStream报错
StrangeNightmare的博客
11-05 686
今天在学习Spark的流式处理的时候，执行map算子和其他算子都正常，但是唯独执行groupbykey算子的时候回报如下错误 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark....
kylin+Kafka实现流式计算
06-11
4. **查看Streaming Cube的构建进度**：通过Kylin的管理界面监控构建任务的状态。 5. **查询Streaming Cube数据**：使用SQL或其他查询接口获取实时分析结果。 6. **查询Zeppelin报表**：在Zeppelin等可视化工具中...
Apache Kylin v1.6 之 新Streaming OLAP实现
03-20
构建的Cube拥有9个维度和3个度量，在每10分钟或每2分钟触发构建的情况下，构建时间分别约为4分钟和3分钟。 Kylin的持续迭代和发展包括支持嵌套式JSON消息和自定义时间格式。这增强了Kylin处理复杂数据结构和多源...
Kylin框架中Streaming系统的设计与实现_王刚.caj
07-17
Kylin框架中Streaming系统的设计与实现_王刚.caj
ltp4j for kylin 4.0.2 based on armv8
01-06
《基于armv8的kylin 4.0.2与ltp4j集成详解》 在当前数字化转型的大潮中，大数据分析与处理技术扮演着至关重要的角色。Kylin，作为一个开源的分布式OLAP（在线分析处理）系统，为企业提供了高效、大规模的数据立方体...
大数据技术之Kylin视频教程
07-08
本套视频教程版本升级为4.0，涵盖了Kylin新版的重大功能升级，并将构建引擎和查询引擎全部升级为Spark，将存储由HBase升级为HDFS下的Parquet存储，这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。...
【Kafka每日一问】kafka三种压缩方式差别?
最新发布
FJJJJJ
12-22 1860
根据压缩的特性和业务场景，可以选择最适合的压缩算法。如果需要更快的速度和更少的资源消耗，可以选择 LZ4。：GZIP 压缩比最高，DEFLATE 算法，但压缩和解压缩速度相对较慢；Snappy 压缩比次之，但压缩和解压缩速度非常快；压缩效率：GZIP 压缩效率最高，但需要较高的 CPU 和内存资源；Snappy 和 LZ4 压缩效率较低，但对 CPU 和内存的要求相对较低。需要注意的是，在使用 Kafka 的压缩功能时，需要权衡压缩比和压缩速度，避免压缩过度导致性能下降。
Golang学习篇—kafka客户端压缩
Map的博客
01-06 1318
1.kafka压缩参数说明 compression.type: producer用于压缩数据的压缩类型。默认是无压缩。正确的选项值是none、gzip、snappy和lz4。压缩最好用于批量处理，批量处理消息越多，压缩性能越好。推荐配置一种适合的压缩算法，可以大幅度的减缓网络压力和Broker的存储压力。 kafka的压缩和kafka的compact是不同的，compact就是相同的key...
Kafka源码篇 --- 小白也能看懂的Producer的初始化及元数据获取流程
说出你的愿望吧
01-06 735
前言 如果是第一次看到这篇的，建议先去补一下以往的5篇基础，会对你理解起来有很大帮助哦 插曲：大白话带你认识Kafka 插曲：Kafka的生产者原理及重要参数说明 插曲：Kafka的生产者案例和消费者原理解析 插曲：Kafka的运行流程总结和源码前准备 Kafka源码预热篇--- Java NIO 从上一年开始鸽了好久的源码篇，终于也是给整了一下。其实一方面也是，怕自己整理不好，看的云里雾里，那也...
Kafka Producer 异步发送消息居然也会阻塞？
后端进阶
09-13 2440
Kafka 一直以来都以高吞吐量的特性而家喻户晓，就在上周，在一个性能监控项目中，需要使用到 Kafka 传输海量消息，在这过程中遇到了一个 Kafka Producer 异步发送消息会被阻塞的问题，导致生产端发送耗时很大。 是的，你没听错，Kafka Producer 异步发送消息也会发生阻塞现象，那究竟是怎么回事呢？ 在新版的 Kafka Producer 中，设计了一个消息缓冲池，客户端发送的消息都会被存储到缓冲池中，同时 Producer 启动后还会开启一个 Sender 线程，不断地从缓冲池获取消
lz4 java_Decompress compressed ubuntu lz4 file in Java
weixin_31516001的博客
02-26 360
I Build Image from Dockerfile:FROM ubuntuRUN apt-get updateThen save the image to my local computer and I got this file for example:archive.ubuntu.com_ubuntu_dists_bionic_restricted_binary-amd64_Packa...
SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决
从零开始学习python --zeropython
09-12 1056
SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决 这几天在测试SparkStreaming,连接Kafka一直报这个错, Python 18/08/30 21:09:00 ERROR Utils: Uncau...
Kafka消息的压缩机制
sherlockyb的博客
05-10 5067
大纲Kafka支持的消息压缩类型什么是 Kafka 的消息压缩消息压缩类型何时需要压缩如何开启压缩在 Broker 端开启压缩compression.type 属性broker 和 topic 两个级别broker 级别topic 级别在 Producer 端压缩compression.type 属性开启压缩的方式压缩和解压的位置何处会压缩producer 端broker 端何处会解压consumer 端broker 端压缩和解压原理CompressionTypeCompressionCodecCompre
浅谈Kafka消息压缩
小生的博客
05-21 3564
概述 Kafka目前支持GZIP、Snappy、LZ4、zstd、不压缩这几种压缩算法。在开启压缩时，Kafka会选择一个batch的消息一起压缩，这样的一批消息就是一个压缩分段，我们也可以通过参数来控制每批消息的大小。 在 Kafka 中，生产者生成一个压缩分段发给broker，在broker中是不会解压这个压缩分段的（因为在kafka中一个batch的消息在broker中是不会拆分的，自然也不会进行解压），最后压缩分段由消费者进行解压。 Kafka通过这种设计，降低了broker中CPU资源的消耗，同时
Kylin中设计Cube的最佳实践
"该资源是关于Apache Kylin OLAP设计立方体的教程，旨在帮助用户理解和优化Kylin中的立方体设计。" Apache Kylin是一个基于Hadoop的多维在线分析处理（MOLAP）引擎，它允许用户在大数据环境下进行快速查询。在开始...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值