spark streaming程序因集群kafka版本不一致造成ZkUtils类无法更新offset解决方案

最新推荐文章于 2024-07-22 05:00:00 发布
最新推荐文章于 2024-07-22 05:00:00 发布
阅读量3.3k 收藏
点赞数
分类专栏： 微服务及云计算学习总结 文章标签： spark streaming kafka client ZkUtils
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zeb_perfect/article/details/73992174
版权

问题：

因为CDH集群环境问题，我spark streaming程序的依赖就依照其版本来进行，但这就遇到一个问题，集群spark2支持的kafka版本是0.9.0，而我们程序操作zookeeper的ZkUtils类就不兼容了。


解决方案：

重新KafkaCluster类，兼容集群版本。

原程序单个topic的zk更新offset的方法：

val stream = createCustomDirectKafkaStream(ssc,kafkaParams,"advertidshadoop161v14taiji.cdn.ifengidc.com","/kafka", topics)








/*
   * createDirectStream() method overloaded
   */
  def createCustomDirectKafkaStream(ssc: 

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  zeb_perfect
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
kafka0.8.2版本升级到kafka0.10的sparkStreaming实践

				
			

			

				

					wo392942362的博客
				

				

					09-21
					
					1039
					
				

			

		

		

			
				
原有的kafka版本使用的是0.8.2版本,开发中虽然基本够用,但是0.10版本增添了很多行特性,所以就在自己的服务器集群实践下

集群版本是CDH5.12.1,使用的kafka是kafka_2.11-0.10.0.1,使用的maven版本是



<dependency>
    <groupId>org.apache.spark</groupId>
    ...

			
		

	



                

              
                



	

		

			

				
					
kafka源码阅读系列二（kafkaServer系列组件之zkUtil）

				
			

			

				

					gwyenu的博客
				

				

					09-16
					
					437
					
				

			

		

		

			
				
我们都知道kafka和zk是强依赖关系，没有zk就没有kakfa
kafka的controller选举，topic信息，partition信息以及各leader的选举，甚至包括老版本的offset保存都依赖于zk的分布式一致性处理
本章将将重点分析zkUtil都做了哪些事
kafka在zk上的节点配置信息
  val ConsumersPath = "/consumers"//消费者记录
  va...

			
		

	



                


  
              

                


	

		

			

				
					
SparkStreaming消费kafka的各种坑，版本问题，jar包冲突

				
			

			

				

					lpacino的博客
				

				

					02-25
					
					1917
					
				

			

		

		

			
				
项目简介
使用SparkStreaming+Kafka+SparkSQL+Hive实时消费数据，处理完之后写入hive分区表。
问题1.语言问题
描述：
在spark官网介绍上，SparkStreaming支持三种语言编写，scala,java,python，
SparkSql支持四种语言（scala,java,python,R）。
我本人比较偏好使用scala编写，但是有一位同事只会使用java...

			
		

	





	

		

			

				
					
KafkaUtils工具类（java）

					
最新发布

				
			

			

				

					Andrew_Chenwq的博客
				

				

					07-22
					
					268
					
				

			

		

		

			
				
【代码】KafkaUtils工具类（java）

			
		

	



		

			
		



	

		

			

				
					
Spark取到Kafka，出现ZK和Kafka offset不一致

				
			

			

				

					UnionIBM的博客
				

				

					03-12
					
					1880
					
				

			

		

		

			
				
在项目中用到Spark Streaming读取Kafka，应用的是Kafka的low level的API因此手动的把Offset存储到ZK（每次执行成功后，才更新zk中的offset信息）当中，但是如果出现Kafka出现网络问题或者ZK没有写入到情况就会出现ZK的offset和Kafka的offset不一致。此时就要对比Kafka和ZK中的Offset逻辑： 
如果ZK中的offset小于 Earl

			
		

	





	

		

			

				
					
Kafka的集群管理工具AdminClient（替代了ZKUtils）

				
			

			

				

					darkWatch的博客
				

				

					02-16
					
					7020
					
				

			

		

		

			
				
今天在使用的Kafka的时候，发现新版的Kafka中的ZKUtils方法显示已过时，查阅了资料发现ZKUtils方法已经被AdminClient替代了。

官网上关于AdminClient的介绍是：The AdminClient API supports managing and inspecting topics, brokers, acls, and other Kafka objects.，...

			
		

	





	

		

			

				
					
Spark Streaming消费Kafka并手动使用Redis管理Kafka Offset

				
			

			

				

					JayLaiSCUT的博客
				

				

					04-27
					
					6663
					
				

			

		

		

			
				
1 Spark Streaming读取Kafka的两种模式
Spark Streaming消费Kafka的数据有两种模式：Receiver和Direct模式，学习时候重点关注下Direct即可，因为在最新读取模方式中已经不支持Receiver。
1.1 Receiver模式
在Spark 1.3之前，Spark Streaming消费Kafka中的数据采用基于Kafka高级消费API实现的Rece...

			
		

	





	

		

			

				
					
【spark】spark streaming 和flume、kafka整合

				
			

			

				

					废物点心的博客
				

				

					04-29
					
					748
					
				

			

		

		

			
				
文章目录一、Spark Streaming整合flumePoll方式Push方式二、Spark Streaming整合kafkaKafkaUtils.createDstreamKafkaUtils.createDirectStreamStreamingContext.getOrCreate
一、Spark Streaming整合flume
flume作为日志实时采集的框架，可以与SparkStre...

			
		

	





	

		

			

				
					
Spark Streaming 集成 Kafka 详解

				
			

			

				

					pizicai007的博客
				

				

					08-28
					
					678
					
				

			

		

		

			
				
概述

Spark Streaming 支持多种输入源数据的读取，其中基本数据源有：File System、Socket connections；而高级数据源有：Kafka、Flume、Kinesis等。但是高级数据源需要额外依赖，而且不能在 Spark Shell 中测试这些高级数据源，如果想要在Spark Shell 中测试需要下载依赖到Spark 依赖库中。

关于读取Kafka 的方式，S...

			
		

	





	

		

			

				
					
Spark之 Spark Streaming整合kafka(Java实现版本)

				
			

			

				

					这里将承载一段最初的记忆
				

				

					03-18
					
					522
					
				

			

		

		

			
				
pom依赖

    <properties>
        <scala.version>2.11.8</scala.version>
        <hadoop.version>2.7.4</hadoop.version>
        <spark.version>2.1.3</spark.version...

			
		

	





	

		

			

				
					
【zk开发】ZkUtils 1.2

				
			

			

				

					07-29
				

			

		

		

			
				
NULL
博文链接：https://sunflowers.iteye.com/blog/805363

			
		

	





	

		

			

				
					
zk工具类 ZkUtils 1.1版本

				
			

			

				

					07-13
				

			

		

		

			
				
NULL
博文链接：https://sunflowers.iteye.com/blog/710734

			
		

	





	

		

			

				
					
kafka的ZkUtils类的java版本部分代码

				
			

			

				

					李志涛的专栏
				

				

					08-12
					
					9730
					
				

			

		

		

			
				
/**
 * Created with IntelliJ IDEA.
 * User: lizhitao
 * Date: 14-6-6
 * Time: 下午3:01
 * To change this template use File | Settings | File Templates.
 */
public class TestMafkaZkUtils {
    private st

			
		

	





	

		

			

				
					
Spark Streaming与Kafka整合

				
			

			

				

					你若盛开~
				

				

					02-02
					
					491
					
				

			

		

		

			
				
第一步 ：启动zookeeper  bin   ./zkServer.sh start
第二步：启动kafka  进入bin目录
 ./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties
Jps 之后，看见进程里面已经有一个kafka了
第三步：创建topic 

			
		

	





	

		

			

				
					
Spark streaming与kafka相结合

				
			

			

				

					u010149947的博客
				

				

					02-14
					
					367
					
				

			

		

		

			
				
版本：Spark streaming 2.11   Kafka:0.9.0.0  scala:2.11.8

Spark streaming消费kafka主要有两种方式:receiver方式和直连方式。

一、receiver方式：

1、利用kafka高阶API，offset由zookeeper维护。

2、方式：


KafkaUtils.createStream(streamingConte...

			
		

	





	

		

			

				
					
Kafka集成SparkStreaming

				
			

			

				

					weixin_42073629的博客
				

				

					10-03
					
					575
					
				

			

		

		

			
				
Spark Streaming + Kafka集成指南

Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个独立的相应Spark Streaming包可用。请选择正确的包，请注意，0.8集成与后来的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。

注意：从Spark 2.3.0开始，不推荐使用Kafka 0.8支持。

Spark Streaming从Kafka接收数据，转换为spark streaming中的数据结构Dstream。数据接收方式有两种 ：1 使用.

			
		

	





	

		

			

				
					
是时候丢掉Spark Streaming 升级到Structured Streaming了

				
			

			

				

					allwefantasy的专栏
				

				

					06-27
					
					752
					
				

			

		

		

			
				

  
    
            前言
又是一个超长的标题（摊手┓( ´∀` )┏）。Spark Streaming 历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有的还做了不少工具了，所以觉得这东西特别好了，不会像一开始各种吐槽了。反倒是Structured Streaming， 吐槽点比较多，但是到目前，我们经过一番实践，觉得是时候丢掉Spark Streaming 升级到...

			
		

	





	

		

			

				
					
ZkUtils 1.2.1版，一个zk开发中的工具方法集合

				
			

			

				

					Mars Suburbs People
				

				

					02-13
					
					307
					
				

			

		

		

			
				
ZkUtils集合了zk中常用的一些工具方法，方便开发中的使用
 
 1.2.1版没添加任何新的工具方法，
 该版本主要改进：结合本人两年多的开发经验
 给一些方法添加细致的注解，使用的同时了解其工作原理
 
 


Java代码   


package  org.zkway.common.util.web.zk;   

   
import  java.io.IOE...

			
		

	





	

		

			

				
					
SparkStreaming处理Kafka数据实战与优化

				
			

			

				

					
				

			

		

		

			
				
"这篇文章主要介绍了在WeTest舆情项目中如何使用SparkStreaming与Kafka结合进行大数据处理，特别是词频统计的应用。作者分享了SparkStreaming从Kafka接收数据的两种方法，以及在实际优化过程中的经验总结。"  Spark...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值