第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本

最新推荐文章于 2024-07-04 11:19:43 发布
最新推荐文章于 2024-07-04 11:19:43 发布
阅读量4.5w 收藏 4
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop 文章标签： SparkStreaming spark Kafka
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/51288057
版权
本文详细记录了使用SparkStreaming基于Kafka Direct模式处理流数据时遇到的ClassNotFoundException问题及其解决过程，包括升级Spark版本、解决Kafka版本不兼容问题，并提供了解决此类问题的具体步骤和配置细节。
摘要由CSDN通过智能技术生成

第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 
 
/* * *王家林老师授课http://weibo.com/ilovepains */  每天晚上20：00YY频道现场授课频道68917580

 


1、作业内容：SparkStreaming基于Kafka Direct方式实现，把Kafka Direct理解成为像hdfs的数据源，SparkStreaming直接读取数据进行流处理。

2、之前的spark集群环境：
   spark 1.6.0
   kafka_2.10-0.9.0.1
  
3、java开发SparkStreamingDirected，读取topic SparkStreamingDirected中的数据。
 
4、kafka中创建topic SparkStreamingDirected161，生产者输入数据。

5、将SparkStreamingDirected 在ecliplse中export打成jar包，提交spark运行，准备从kafka中读取数据。

6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录 ：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
Spark Streaming 2.2.1 处理Kafka数据源的实战准备
段智华的博客
02-24 6365
Spark Streaming 2.2.1 处理Kafka数据源的实战准备Kafka是一种高吞吐量的分布式发布订阅消息系统，Spark Streaming读取Kafka数据支持二种方式：Receiver方式和No Receivers方式。（1）Receiver方式：Spark Streaming kafkautil使用createStream方法。（2）No Receivers方式：Spark S...
java.lang.NoClassDefFoundError org.apache.xml.serializer.TreeWalker.doc
10-09
在jsp运行过程中，报错 java.lang.NoClassDefFoundError org.apache.xml.serializer.TreeWalker时的处理方法。
大数据IMF传奇行动绝密课程第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密
tom_8899_li的博客
04-03 701
SparkStreaming基于Kafka Direct案例实战和内幕源码解密1、sparkStreaming on Kafka Direct工作原理机制 2、sparkStreaming on Kafka Direct案例实战 3、sparkStreaming on Kafka Direct源码解析package com.tom.spark.SparkApps.sparkstreaming;i
Spark Streaming使用Kafka数据源遇到的问题
最新发布
qq_55792362的博客
07-04 527
Spark 结构化流连接Kafka数据源遇到的问题
spark-02_java.lang.NoClassDefFoundError_org.apache.spark.streaming.kafka.Kafk
Welcome to Feng.Chang's Blog
12-03 335
在spark中本地调试时遇到如果问题 19/11/20 17:08:49 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@73e132e0{/metrics/json,null,AVAILABLE} Exception in thread "main" java.lang.NoClassDefFoundError...
java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaRDDP
zhenzi_PeppaPig的博客
12-25 2532
单机运行不报错，集群模式报错： 因为本地单机配置了spark/conf/spark-env.sh export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath):/usr/local/spark/examples/jars/*:/usr/local/spark/jars/kafka/*:/usr/local/kafka...
spark-submit 提交任务报错 java.lang.ClassNotFoundException: Demo02
Rocky
10-16 8211
案例：把sparksql的程序提交到spark的单机模式下执行 package demo01 import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext import org.apache.spark.SparkConf object Demo02 {     def main(args: Array...
Java面试题汇总（一）
m0_67322837的博客
03-14 732
本文分为十九个模块，分别是：Java 基础、容器、多线程、反射、对象拷贝、Java Web 、异常、网络、设计模式、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、MyBatis、RabbitMQ、Kafka、Zookeeper、MySQL、Redis、JVM，如下图所示： 共包含 208 道面试题，本文的宗旨是为读者朋友们整理一份详实而又权威的面试清单，下面一起进入主题吧。 Java 基础 1. JDK 和 JRE 有什么区...
4万字，200道Java面试题含答案！
weixin_70730532的博客
08-24 281
== 对于基本类型来说是值比较，对于引用类型来说是比较的是引用；而 equals 默认情况下是引用比较，只是很多类重新了 equals 方法，比如 String、Integer 等把它变成了值比较，所以一般情况下 equals 比较的是值是否相等。3. 两个对象的 hashCode() 相同，则 equals() 也一定为 true，对吗？不对，两个对象的 hashCode() 相同，equals() 不一定 true。
2022年Java 工程师面试题
weixin_42572320的博客
03-03 2512
第 1 页 共 485 页 目录 1、什么是 Mybatis？............................................................................... 33 2、Mybaits 的优点：............................................................................... 33 3、MyBatis 框架的缺点：.............................
Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class
大JAVA解决方案
04-21 9784
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties18/04/21 19:05:26 INFO SparkContext: Running Spark version 1.6.2Exception in thread "main" java.lang.NoClassDefFoundError...
找不到org.apache.spark.streaming.flume.sink.SparkFlumeProtocol$Callback
weixin_33744854的博客
01-21 305
java.lang.NoClassDefFoundError:org/apache/spark/streaming/flume/sink/SparkFlumeProtocol$Callback atorg.apache.spark.streaming.flume.FlumePollingReceiver$$anonfun$onStart$1.apply(FlumePoll...
spark-submit 错误： ava.lang.ClassNotFoundException: WordCount
热门推荐
qingyang0320的专栏
01-21 1万+
今天整了一上午，终于在spark上跑出来了这个程序。 在eclipse上编了个简单Scala程序，code如下 package spark.wordcount import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf ob
spark程序开发中出现 java.lang.ClassNotFoundException的处理
weixin_42547668的博客
12-26 1万+
开发spark程序中出现异常总结出如下： 一.通过idea开发spark程序，运行scala文件时候出现错误 Caused by: java.lang.ClassNotFoundException: xxx.WordCount$$anonfun$2 at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lan...
spark-submit 报 NoClassDefFoundError 解决
qq_31024823的博客
04-25 1753
报错信息 在使用 spark-submit 提交 scala App 的时候，报出了一下异常，而 代码就简单的调用了一下 map() 方法： Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$...
idea配置scala 出现java.lang.ClassNotFoundException: xxx.xxx.scala
SWEENEY_HE的博客
01-21 2255
1.问题 配置scala时，命令行能正常执行scala代码，idea无法运行报找不到主类错误 2.可能的解决方法 1.查看project structure -> project,module,libaries等，是否配置好环境(注意scala版本与java版本是否兼容，一台电脑可能存在多个版本的jdk所以可能出现这个问题。博主使用scala 2.10.4与java 1.7可以正常运行) 2...
java.lang.NoClassDefFoundError
weixin_46640232的博客
05-27 334
Error creating bean with name 'taskController': Injection of @Reference dependencies is failed; nested exception is java.lang.NoClassDefFoundError: org/springframework/security/core/userdetails/UserDetails dubbo进行通信时遇到此问题 解决办法： 在pom.xml中加入依赖： <depende
解决spark-shell执行官方sparkstreaming 报 only one sparkcontext maybe running in this jvm的错误
上海菁数信息技术
10-18 7849
解决： 不执行蓝字，更改红字为  val ssc = new StreamingContext(sc, Seconds(1)) ===================================================================== import org.apache.spark._ import org.apache.spark.streaming._
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值