sparkstreaming kafka Direct Approach集成问题

最新推荐文章于 2019-09-21 21:46:04 发布
最新推荐文章于 2019-09-21 21:46:04 发布
阅读量261 收藏
点赞数
分类专栏： 开发总结 spark 文章标签： sparkstreaming kafka Direct Ap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chengliangyao/article/details/81096347
版权

环境：hadoop-2.6.0-cdh5.7.0  spark-2.2.0 kafka_2.11-0.9.0.0

1、StringEncoder import 报错

解决方法：import _root_.kafka.serializer.StringDecoder 原因没懂

2、Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

解决方法：将kafka的版本改为0.8.2.1，spark-streaming-kafka-0-8_2.11不支持0.9.0.0的broker，spark官网说明有误

 

Chengliangyao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark Streaming 11 Spark Streaming整合kafka（二）Direct approach
lihaogn的博客
09-05 175
1）KafKaDirectWC.scala package com.lihaogn.sparkKafka import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spar...
spark streaming + kafka整合二（Direct Approach (No Receiver)）
murphyZ的博客
03-06 283
7.2、Direct Approach (No Receiver) 它会周期性的查询kafka，来获取每个topic + partition的最新offset，从而定义每一个batch的offset的范围。当处理数据的job启动时，就会使用kafka简单的消费者API来获取kafka指定offset的范围的数据。 1)、它简化了并行读取：如果要读取多个partition，不需要创建多个输入DStr...
Spark从kafka中读取数据，Direct Approach相较于Receiver-based Approach方式的区别
qq_41544550的博客
07-25 378
1、简化的并行： 在Receiver的方式中我们提到创建多个Receiver之后利用union来合并成一个Dstream的方式提高数据传输并行度。而在Direct方式中，Kafka中的partition与RDD中的partition是一一对应的并行读取Kafka数据，这种映射关系也更利于理解和优化。 2、高效： 在Receiver的方式中，为了达到0数据丢失需要将数据存入Write Ahea...
Spark Streaming Direct Approach (No Receivers) 分析
allwefantasy的专栏
12-12 242
前言 这个算是Spark Streaming 接收数据相关的第三篇文章了。 前面两篇是： Spark Streaming 数据产生与导入相关的内存分析 Spark Streaming 数据接收优化 Spark Streaming 接受数据的方式有两种： Receiver-based Approach Direct Approach (No Recei...
SparkStreaming采用直连方式（Direct Approach）获取Kafka数据的研究心得
瓜牛呱呱的博客
05-17 3340
这里不多介绍一些基础的，只说说我最近研究直连方式的心得 使用SparkStreaming的直连方式来进行流式处理，并且这个程序要可靠性，并且具有一致性（原子性），那么我心中就产生了如下的疑问： 1、如何保证直连方式中Kafka的offset的精准度 2、如何保证StreamingContext信息的不丢失：即重启后，集群配置信息、计算处理过程中信息的不丢失 3、如何保证Driver挂掉...
Spark踩坑记——SparkStreaming+Kafka
02-25
本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩...
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
1. **创建Kafka Direct Stream**：Spark Streaming使用`DirectStream` API直接从Kafka消费数据，避免了中间Zookeeper的依赖，提高了性能。使用`KafkaUtils.createDirectStream`方法，传入Kafka的brokers、topics、...
Spark Streaming 与 Kafka 集成原理.pdf
最新发布
07-04
Spark Streaming 与 Kafka 集成原理提供了两种不同的数据接收方式，分别是 Receiver-based Approach 和 Direct Approach（No Receivers）。Receiver-based Approach 是 Spark Streaming 早期的数据接收方式，具有...
kafka kafka与sparkStreaming kafka与Scala
03-24
Spark Streaming可以与多种数据源集成，包括Kafka，实现高效的数据摄取和处理。 **Kafka与Spark Streaming的整合** Kafka和Spark Streaming的结合是实时数据处理的常见架构。Spark Streaming可以从Kafka的Topic中...
解决kafka.serializer.StringDecoder无论如何导入不进来报红的问题
弗兰-随风小欢的博客
09-21 1822
在进行kafka和spark Streaming做测试的时候，需要用到StringDecoder的这个类，可是无论如何导kafka.serializer.StringDecoder都导入不进来，明明IDEA有导入的提示,可就是导入不进来,经过网上的搜索，现在把解决方案分享给大家： 我们在头文件手动导入这个包即可解决导不进的问题： import _root_.kafka.serializer...
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式
Ganymede的Hadoop世界
12-15 8877
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。
Scala版SparkStreaming读写kafka，low level api模板代码存档
zzyzzy12
10-08 3923
spark streaming从kafka的某个topic拉取数据，处理完后再放入某个topic中的一个模板，不完整，作为参考，加了部分备注。     SparkStreaming主程序模板 package jacob.sparkstreaming import java.util import _root_.kafka.serializer.StringDecoder
解决：IDEA中kafka.serializer.StringDecoder导入报红的问题
weixin_41877215的博客
07-24 800
解决：IDEA中kafka.serializer.StringDecoder导入报红的问题 kafka版本为0.9.0.0;spark-streaming-kafka-0-8_2.11 在sparkstreaming 整合 kafka时，采用direct方法。在StringDecoder手动导入kafka.serializer.StringDecoder时，一直报红。 解决方法一：手动在代码头部添...
Spark streaming 采用直接读kafka 方法获取数据
12-16 4446
package com.xing.stream import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, Streamin
kafka direct 跟receiver 方式接收数据的区别
qq_29651795的博客
04-13 4812
Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制（Write Ahe
sqlserver 程序中出现08001问题
热门推荐
Chengliangyao的博客
04-11 1万+
如果sqlserver客户端可以通过用户名和密码连接上，但是在程序中运行就出现08001问题，这种情况极有可能是数据库服务配置没有配置，配置下就好了：然后重启：...
python 取多维数据的某一列
Chengliangyao的博客
06-24 1万+
table=[[0,0,0,0],[1,1,1,1],[2,2,2,2],[3,3,3,3]] 不能使用table[:,0]，可将其转为array，然后取列 table1 = numpy.array(table) 取第一列 table1[:,0] 得到[0 1 2 3]，如果需要list，可以将其转为list，list(table1(:,0)) ...
URL中加入json数据
Chengliangyao的博客
11-23 1万+
之前一直以为URL后面只能跟字符串数据，如果要添加json数据就必须用post方式，今天尝试了下，原来URL后面可以直接加上接送数据，比如：http://chengliangyao?data={"name":"yao","age":"25","sex":"boy"}，但是这种方式应该数据时有限制的，如果数据小还是可以的，数据量大就不能这么写了。
php将base64编码转换为图片保存至指定位置
Chengliangyao的博客
06-24 9093
$base64为图片的编码字符串 preg_match('/^(data:\s*image\/(\w+);base64,)/', $base64, $result); $type = $result[2];    //获取图片的类型jpg png等 $name = ”xxxx".".$type; //图片重命名 $savepath = ‘C:/'.$name;   //图片保存目录 fi
sparkstreaming集成kafka
05-12
Spark Streaming 和 Kafka 集成可以让我们快速、高效地处理实时数据流。下面是一个简单的 Spark Streaming 和 Kafka 集成的示例： 首先，我们需要在 Spark Streaming 应用中添加 Kafka 相关依赖： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值