spark-submit提交Spark Streamming+Kafka程序

已于 2022-09-02 09:58:43 修改
阅读量3.2k 收藏 5
点赞数
分类专栏： kafka SparkStreaming Spark 文章标签： spark kafka SparkStreaming
于 2018-06-28 17:09:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/80846156
版权
Spark 同时被 3 个专栏收录
76 篇文章 8 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
kafka
8 篇文章 1 订阅
订阅专栏
SparkStreaming
4 篇文章 0 订阅
订阅专栏
本文介绍了如何在Spark Streaming程序中连接Kafka，并解决通过spark-submit提交时遇到的异常问题。关键步骤包括添加Spark Streaming与Kafka的相关jar包到Spark环境，以及两种提交jar的方式：直接拷贝到$SPARK_HOME/jars目录和使用--jars参数指定依赖。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

Spark Streaming本身是没有Kafka相关的jar包和API的，如果想利用Spark Streaming获取Kafka里的数据，需要自己将依赖添加SBT或Maven项目中，添加依赖更新项目之后，就可以在Eclipse等IDE里直接运行Spark Streamming+Kafka的程序了，可参考Spark Streaming连接Kafka入门教程，但是如果需要在集群通过spark-submit提交jar包的方式来运行程序的话，会抛出异常：

Exception in thread "main" java.lang.NoClassDefFoundError
了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
通过spark-submit运行java程序
珺珺去哪儿
02-06 5834
原来程序是将所有jar打包到libs目录下，然后运行生成好的run.sh。现在要使用spark-submit将它提交到spark上运行。几经波折之后，终于圆满完成。 首先遇到的问题是如何使用gradle将工程打包成可执行的jar文件。这个问题网上已有答案，就是使用插件 "com.github.johnrengelman.shadow"。gradle的配置如下： apply plugin: '
spark在集群提交sparkStreaming程序
zeng6325998的博客
07-21 624
前言 sparkStreaming程序在本地IDEA 测试完以后，要到服务器上部署程序并运行，今天来测试下在服务器上提交以及遇到的问题 具体操作 具体思路 这边的具体思路是使用依赖包上传到hdfs上，使用spark的 --jars参数来添加依赖。然后maven打包只打包相关代码就可以，不需要添加依赖。 1、pom文件中的build 具体pom的bulid <build> <plugins> <plugin>
Livy0.7.0 提交sparkStreaming 任务
weixin_40004348的博客
09-14 792
Livy0.7.0 提交sparkStreaming 任务 livy提交spark方式： Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。 livy 将每一个启动的spark任务称之为session,Session是通过RPC协议在spark集群和livy服务端进行通信。根据处理方式不同分为两种Session类型： （1）交互式会话，这与Spark中的交互式处理相同 如spark shell，交互式会话在其启动后可以接收用
SparkStreaming（1）：提交wordcount功能
小蚯蚓的博客
10-08 371
一、目的： 使用wordcount官方自带案例，熟悉spark-submit和spark-shell两种提交spark应用程序方法。 二、操作目的 1.使用spark-submit提交 （1）启动hdfs （2）spark根目录下执行 bin/spark-submit --master local[2] \ --class org.apache.spark.examples.stre...
Spark综合学习笔记（十五）SparkStreaming整合Kafka-代码实现2-手动提交偏移量
斯特凡今天也很帅的博客
11-24 358
学习致谢 https://www.bilibili.com/video/BV1Xz4y1m7cv?p=49 http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 代码实现 package streaming import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kafka0
SparkStreaming总结下
大数据小生的博客
08-29 7428
一、spark直连方式和Receiver方式比较 consumer 传统的消息者（老的方式）需要连接ZK，新的方式（高效的方式）不需要连接ZK，但是要自己维护偏移量 consumer group 一个消费者组下可以有多个消费者，不重复消息   DStream离散的数据流，是SparkStreaming中一个最基本的抽象，DStream中不存放数据，也可以认为是一个分布式的数
spark停止命令linux,后台运行spark-submit命令的方法
weixin_30794381的博客
04-29 1539
在使用spark-submit运行工程jar包时常常会出现一下两个问题：1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志；2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭，程序便终止运行。其中，第一个问题可以通过将运行日志重定位到文件中来解决，命令如下：...
Spark+Kafka构建实时分析
qq_47844519的博客
05-10 808
*Spark+Kafka构建实时分析* *Dashboard 项目* *一：实验环境准备* *预备知识* Linux系统命令使用、了解如何安装Python库、安装kafka。 *训练技能* 熟悉Linux基本操作、Pycharm的安装、Spark安装，Kafka安装，PyCharm安装。 *任务清单* \1. Spark安装（略） \2. Kafka安装 \3. Python安装（略） \4. Python依赖库 \5. PyCharm安装（略） 一、系统和软件的安装 一、项目环境搭建。 （一）、spark
Kafka+Spark-Streaming实现流式计算（WordCount）
qq_53578487的博客
06-02 334
Kafka+Spark-Streaming实现流式计算（WordCount）
【spark】记录一次 spark sparkstreaming 使用命令行提交任务在Yarn集群模式无法正常消费kerberos kafka数据的问题
Mrerlou的博客
08-18 4332
最近在提交spark程序到yarn消费kerberos认证方式的kafka数据。由于配置文件 相对/绝对路径不正确配置遇到了报错，这里整理并记录一下。以上的问题，说白了就是在任务真正的执行节点，并没有成功从绝对路径中加载到对应的配置文件。因为别的节点并没有这些配置文件。所以需要用--flies将我们需要用到的配置都加载到yarn服务上，然后yarn来将这些配置问价分发到真正执行任务的目录上。所以我们用的一些参数中指定的配置也须写成相对路径。和。.........
【Spark】SparkStreaming缓存操作，SparkStreaming程序的部署、升级与维护、优化建议(十一)
最新发布
大数据爱好者的博客
05-22 1103
Spark会每隔batchDuration时间去提交一次Job，如果你的Job处理的时间超过了batchDuration的设置，那么会导致后面的作业无法按时提交，随着时间的推移，越来越多的作业被拖延，最后导致整个Streaming作业被阻塞，这就间接地导致无法实时处理数据，这肯定不是我们想要的。要注意的是，如果你要执行窗口长度为30分钟的窗口操作，那么Executor的内存资源就必须足够保存30分钟内的数据，因此内存的资源要求是取决于你执行的操作的。换句话说，batch应该在生成之后，就尽可能快地处理掉。
SparkStreaming示例在集群中运行
小荷才露尖尖角，一枝红杏出墙来！
07-28 6731
SparkStreaming是依托于Spark的用于实时计算的工具，按照设置的时间间隔对数据流进行切分为一个一个的RDD，然后对这些时间段内产生的RDD进行批处理。如图：        主要的处理步骤如下：   1.定义好数据源。这里的数据源可以使本地文件，socket套接字链接，也可以是hdfs，kafka，Flume等产生的数据。   2.准备好流计算指令。这里的指令就是要对数据进行处
spark streaming应用提交到yarn上一直处于ACCEPTED状态，也未报错
zhuge134的博客
03-21 6786
原因已经找到，这里做个记录，防止下次再犯类似的错误。实际上是因为代码中将运行模式设置为本地模式，在提交到yarn上后driver端的代码正常运行，并且也正常运行了很多批次。但由于是本地模式，所以driver不会向resourcemanager申请资源，所以也就不会向rm注册自己，这也就解释了为什么在yarn记录的应用的日志中提示应用未向rm注册。...
Spark提交任务的方式
彷徨的博客
09-19 3981
提交任务的两个命令 spark-submit 程序执行之后，application就会退出。 spark-shell 会一直占有一个application，手动退出。 ctrl + c  spark-shell  是一个交互式的命令行,主要用于测试。 spark-shell脚本，实际上调用的是spark-submit脚本： spark-shell --master spark://h...
sparkStreaming运行yarn，提交任务报错
04-29 342
op.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch...
理工学---数据基础---大数据---Spark Submit提交应用程序及yarn
热门推荐
01-19 2万+
本部分来源，也可以到spark官网查看英文版。 使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。spark-submit --class --master --jars Spark根目录的bin目录下spark-submit脚本用于在集群上启动应用程序，它通过统一接口使用Spark所支持的所有集群管理器，因此无需特殊配置每一个
spark-submit提交kafka测试
Jor_rosen的技术博客
08-10 2264
spark-submit --jars /home/aus/spark/lib/spark-streaming-kafka_2.10-1.0.0.jar,/home/aus/spark/lib/kafka_2.8.0-0.8.1.jar --master spark://10.21.17.202:7074 --class KafkaWordCount /home/aus/spark/data/
SparkStreaming安全消费Kafka数据
SunnyRivers
05-21 2143
前言 在这之前做SparkStreaming连接Kafka，我会这么写： val sparkConf = new SparkConf().setAppName("Spark2Kafka") val ssc = new StreamingContext(sparkConf, Seconds(5)) ssc.checkpoint("/xxx/xxx") val kafkaParameters = Ma...
sparkstreaming集成kafka
05-12
最后，我们需要运行 Kafka 和 Spark Streaming 应用程序： 1. 运行 Kafka： ``` bin/kafka-server-start.sh config/server.properties ``` 2. 向 Kafka 主题中发送数据： ``` bin/kafka-console-producer.sh --...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值