一文读懂kafka

已于 2022-06-20 18:14:52 修改
阅读量184 收藏
点赞数
文章标签： kafka zookeeper 分布式
于 2022-06-18 11:41:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ware_soft/article/details/125318319
版权


查看有多少个topic

./kafka-topics.sh --bootstrap-server 10.10.5.252:9092   --list

创建topic

./kafka-topics.sh --bootstrap-server 10.10.5.252:9092  --topic windaka_One e --create --partitions 1 --replication-factor 2

查看主题信息

./kafka-topics.sh --bootstrap-server 10.10.5.252:9092 --topic windaka_One --describe

增加分区

./kafka-topics.sh --bootstrap-server 10.10.5.250:9092 --topic windaka_One --alter --partitions 3

生产者消费者发送接收信息

./kafka-console-producer.sh --bootstrap-server 10.10.5.252:9092 --topic windaka_One

./kafka-console-consumer.sh --bootstrap-server 10.10.5.252:9092 --topic windaka_One

异步发送

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>3.0.0</version>
</dependency>
public class CustomProducer{

    public static void main(String[] args){

        /*属性配置*/
        Properties properties  = new Properties();

        /*链接属性设置*/
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"10.10.5.252:9092,10.10.5.250:9092");

        /*序列号熟悉设置*/
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());

        /*创建kafka生产者*/
        kafkaProducer<String,String> producer_0 = new kafkaProducer<String,String>(properties);

        /*发送数据*/
        producer_0.send(new ProducerRecord<>("windaka_One(主题)“,"消息内容 Test-kafka"));

        /*关闭资源*/
        producer_0.close();
    }

}

带回调函数的异步发送

/*发送数据*/
producer_0.send(new ProducerRecord<>("windaka_One主题","发送数据内容"),
       new Callback(){
        
          @Override
          public void onCompletion(RecordMetadata record,Exception e){
              if(e == null){
                  System.out.println("Topic:"+record.topic());
                  System.out.println("分区:"+record.partition());
              }
          }
       });

同步发送

producer_0.send(new ProducerRecord<>("主题","发送数据内容")).get();

自定义分区器

      实现一个类继承Partitioner

        

public class MyPartitioner implements Partitioner{

    @Override
    public int partition(String topic,Object o,byte[] bytes,Object value,byte[] bytes1,Cluster cluster){
        String msgValue = value.toString();
        int partition;
        if(msgValue.contains("windaka")){
            partition = 0;
        }else{
            partition = 1;
        }
        return partition;
    }


}

属性设置里面进行关联自定义分区设置

/*关联自定义分区设置
*第二个参数为自定义关联分区类的全类名*/

properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"com.kafka.test.MyPartitioner");

生产者如何提高吞吐量

/*设置缓冲区大小
*默认32M*/
properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554422);

/*设置批次大小
*默认16k*/
properties.put(ProducerConfig.BATCH_SIZE_FONGI,16384);

/*linger ms
 *默认值为0,可根据实际情况设置5-100ms之间*/
properties.put(ProducerConfig.LINGER_MS_CONFIG,5);


/*压缩类型*/
properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");

生产经验-数据可靠性

/*Acks*/
properties.put(ProducerConfig.ACKS_CONFIG,"1");

/*重试次数
 *默认次数为int类型最大值*/
properties.put(ProducerConfig.RETRIES_CONFIG,3);

数据去重-正好一次

 

public class CustomProducer{

    public static void main(String[] args){
        
        /*熟悉配置*/
        Properties properties = new Properties();

        /*连接集群*/
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"10.10.5.252:9092,10.10.5.250:9092");

        /*序列化*/
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());

     /*Acks
      *启用事务必须设置为all或-1*/
      properties.put(ProducerConfig.ACKS_CONFIG,"-1");

     /*设置全局唯一事务id
      *windaka01为自定义的事务id*/
      properties.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG,"windaka01");

      /*创建kafka生产者*/
      KafkaProducer<String,String> producer_0 = new KafkaProducer<String,String>(properties);

      /*初始化事务*/
      producer_0.initTransactions();

      /*开启事务*/
      producer_0.beginTransaction();

      try{
          producer_0.send(new ProducerRecord<>("topic","发送数据内容"));

          /*提交事务*/
          producer_0.commitTransaction();
      }catch(Exception e){
          /*发生异常,中止事务*/
          producer_0.abortTransaction();
      }finally{
          /*关闭资源*/
          producer_0.close();
      }   
    }
}

 生产经验-数据有序

       单分区内有序

       多分区，分区与分区间无序

Zookeeper常用命令

        bin/zkCli.sh

        

  

 增加服役新节点，负载均衡

  （1）创建一个要均衡的主题

 （3）创建执行副本

        vi increase-replication-factor.json

        把第二步生成的均衡计划复制到执行副本里面。

退役旧节点

 

 （6）.停止退役节点上kafka服务即可。

kafka副本

Leader Partition自动平衡

Ps:

     建议不使用再平衡。 

增加副本

kafka文件存储机制

命令：

   kafka-run-class.sh  kafka.tools.DumpLogSegments --files  ./0000000000000000.log

日志清理策略

 

kafka高效读写数据原理

消费者

          消费一个主题数据

           

public class CustomConsumer{

    public static void main(String[] args){

        /*配置熟悉*/
        Properties pro = new Properties();

        /*链接熟悉配置*/
        pro.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"10.10.5.252:9092,10.10.5.250:9092");
        /*反序列化属性配置*/
        pro.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
        pro.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
       
       /*配置全局消费者group id*/
       pro.put(ConsumerConfig.GROUP_ID_CONFIG,"test消费者group id");
       
       /*创建一个消费者*/
       KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(pro);

       /*订阅主题*/
       ArrayList<String> topic = new ArrayList<>();
       /*订阅的主题*/
       topic.add("windaka_One");
       consumer.subscribe(topic);

       /*循环消费*/
       while(true){
           /*Duration.ofseconds(1)为每次拉取的间隔时间*/
           ConsumerRecords<String,String> conRecords = consumer.poll(Duration.ofseconds(1));

           for(ConsumerRecord<String,String> record : conRecords){
                System.out.println(record.topic());
                System.out.println(record.value());
                System.out.println(record.partition());
           }
       }

    }

}

    消费一个主题下的某个分区数据

      

public class CustomConsumer{

    public static void main(String[] args){

        /*属性配置*/
        Properties pro = new Properties();

        /*连接属性*/
        pro.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"10.10.5.252:9092,10.10.5.250:9092");
        
        /*配置全局消费者group id*/
        pro.put(ConsumerConfig.GROUP_ID_CONFIG,"test");

        /*反序列化属性*/
        pro.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
        pro.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserialize.class.getName());
        
        /*创建一个消费者*/
        KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(pro);

        /*订阅主题对应的分区*/
        ArrayList<TopicPartition> topicPart = new ArrayList<>();
        /*订阅主题为windaka_One,分区为0的消息*/
        topicPart.add(new TopicPartition("windaka_One",0));
        consumer.assign(topicPart);

        /*循环消费*/
        while(true){
            ConsumerRecords<String,String> conRecords = consumer.poll(Duration.ofSeconds(1));

            for(ConsumerRecord<String,String> record : conRecords){
                System.out.println(record.topic());
                System.out.println(record.value());
                System.out.println(record.partition());
            }
        }
    }

}

消费者分区策略

-->Range

 -->RoundRobin

/*设置分区分配策略*/
pro.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.RoundRobinAssignor");

 -->Sticky

/*设置分区分配策略*/
pro.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.StickyAssignor");

消费者offset

     0.9版本之前维护在zookeep中；

     0.9版本之后维护在消费者主题当中；

自动offset提交

/*配置自动提交offset,其实默认就是自动提交*/
pro.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,true);

/*自动提交间隔,1000ms*/
pro.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,1000);

手动提交offset

--同步提交

public class CustomConsumer{

    public static void main(String[] args){

        Properties pro = new Properties();

        pro.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"10.10.5.252:9092,10.10.5.250:9092");

        pro.put(ConsumerConfig.GROUP_ID_CONFIG,"test");

        pro.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
        pro.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());

        /*配置手动提交offset,默认是自动提交*/
        pro.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,false);

        KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(pro);

        ArrayList<String> topic = new ArrayList<>();
        topic.add("windaka_One");
        consumer.subscribe(topic);

        while(true){
            ConsumerRecords<String,String> conRecords = consumer.poll(Duration.ofSeconds(1));

            for(ConsumerRecord<String,String> record : conRecords){
                System.out.println(record.topic());
                System.out.println(record.value());
            }

            /*同步提交*/
            consumer.commitSync();
        }
    }

}

--异步提交 

public class CustomConsumer{

    public static void main(String[] args){

        Properties pro = new Properties();

        pro.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"10.10.5.252:9092,10.10.5.250:9092");

        pro.put(ConsumerConfig.GROUP_ID_CONFIG,"test");

        pro.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
        pro.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());

        /*配置手动提交offset,默认是自动提交*/
        pro.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,false);

        KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(pro);

        ArrayList<String> topic = new ArrayList<>();
        topic.add("windaka_One");
        consumer.subscribe(topic);

        while(true){
            ConsumerRecords<String,String> conRecords = consumer.poll(Duration.ofSeconds(1));

            for(ConsumerRecord<String,String> record : conRecords){
                System.out.println(record.topic());
                System.out.println(record.value());
            }

            /*异步提交*/
            consumer.commitAsync();
        }
    }

}

消费者指定offset进行消费

/*创建一个消费者*/
KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(pro);

ArrayList<String>  topic = new ArrayList<>();
topic.add("windaka_One");
consumer.subscribe(topic);

/*指定offset位置进行消费*/
Set<TopicPartition>  assignment = consumer.assignment();

/*保证分区分配方案已经制定完毕*/
while(assignment.size() == 0){
    consumer.poll(Duration.ofSeconds(1));
    assignment = consumer.assignment();
}

for(TopicPartition topicPart : assignment){
    /*指定每个分区，从offset=100位置开始消费*/
    consumer.seek(topicPart,100);
}

指定消费时间进行消费

/*指定位置进行消费*/
Set<TopicPartition>  assignment = consumer.assignment();

/*保证分区分配方案已经制定完毕*/
while(assignment.size() == 0){
    consumer.poll(Duration.ofSeconds(1));
    assignment = consumer.assignment();
}

/*把时间转换成对应的offset*/
HashMap<TopicPartition,Long>  topicPartHsM = new HashMap<>();

for(TopicPartition topicPartition : assignment){
    topicPartHsm.put(topicPartition,System.currentTimeMillis()*1*24*3600*1000);
}

Map<TopicPartition,OffsetAndTimeStatamp> topicPartOfHsm = consumer.offsetForTimes(topicPartHsM);

for(TopicPartition topicPart : assignment){
    OffsetAndTimestamp offsetTimeStamp = topicPartOfHSM.get(topicPart);
    consumer.seek(topicPart,offsetTimeStamp.offset());
}

/*循环消费*/

数据积压-消费者如何提供吞吐量

EFAK(eagle)

  EFAK原名为eagle,是kafka的开源可视化监控系统。

Kafka-Kraft模式

       2.8.0版本以后新模式，目的是为了去zookeeper化

         （不安装启动zookeeper，一样使用kafka）

conf/kraft/server.properties

/*每一个节点可以配置不同角色，可以一个节点即使broker，也是controller
 *controller负责选举，broker负责存储数据*/
process.roles = broker,controller

/*全局唯一，类似broker.id*/
node.id = 252

/*负责选举*/
controller.quorum.voters=252@10.10.5.252:9093,250@10.10.5.250:9093

advertised.listeners=PLANTEXT://10.10.5.252:9092

log.dirs=/xxx/xxx/xxx

外部组件

          kafka集成Flume

1.下载解压Flume

2. 删除不兼容包

       rm -rf guava-11.0.2.jar

3.安装配置hadoop

4.vi log4j.properties

     配置log目录

5.配置Flume

a1.sources.r1.filegroups.f1 = /var/log/xxx (监控的文件)

6.  启动Flume

      

外部组件

          kafka集成Flink

 集成方法不再记述

外部组件

          kafka集成SpringBoot

@RestController
public class ProducerController{

    @Autowired
    KafkaTemplate kafkaTest;

    @RequestMapping("/windaka")
    public String data(String msg){
        kafkaTest.send("topic",msg);
        return "ok";
    }
}
application.properties

spring.kafka.bootstrap-servers=10.10.5.252:9092,10.10.5.250:9092
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer

spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

消费者

        

@Configuaration
public class KafkaConsumer{

    @KafkaListener(topics="windaka_One")
    public void consumerTopic(){
        System.out.println("消费kafka消息:"+msg);
    }
}

@KafkaListener为监听对应主题的kafka消息注解

application.properties

spring.kafka.consumer.group-id=windaka
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer

spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

外部组件

          kafka集成Spark

Kafka生产调优

  

 

查看kafka堆内存使用率

     命令：jmap  -heap  2315(kafka进程号)

使用率19.45%，根据使用率，决定是否调整堆内存大小。

 

 

 

kafka压力测试

  生产者压力测试

 

测试betch.size为4k,16k,32k时的吞吐量

测试linger.ms为0，50时的吞吐量

测试compression.type为snappy,zstd,gzip的吞吐量

调整缓存大小，测试

buffer.memory=67108864 

消费者压力测试

 

 

ware_soft
关注
一文读懂 kafka 的事务机制
明哥的IT随笔
09-16 2110
1 前言 大家好，我是明哥！ KAFKA 作为开源分布式事件流平台，在大数据和微服务领域都有着广泛的应用场景，是实时流处理场景下消息队列事实上的标准。用一句话概括，KAFKA 是实时数仓的基石，是事件驱动架构的灵魂。 但是一些技术小伙伴，尤其是一些很早就开始使用 KAFKA 的技术小伙伴们，对 KAFKA 的发展趋势和一些新特性，并不太熟悉，在使用过程中也踩了不少坑。 有鉴于此，我们会通过一系列 KAFKA 相关博文，专门讲述 KAFKA 的这些新特性。 本文是该系列文章之一，讲述 KAFAK 的事务机制。
一文读懂kafka的幂等生产者
明哥的IT随笔
09-08 426
一文读懂kafka的幂等生产者 1 前言 大家好，我是明哥！ KAFKA 作为开源分布式事件流平台，在大数据和微服务领域都有着广泛的应用场景，是实时流处理场景下消息队列事实上的标准。用一句话概括，KAFKA 是实时数仓的基石，是事件驱动架构的灵魂。 但是一些技术小伙伴，尤其是一些很早就开始使用 KAFKA 的技术小伙伴们，对 KAFKA 的发展趋势和一些新特性，并不太熟悉，在使用过程中也踩了不少坑。 有鉴于此，我们接下来会有一个 KAFKA 系列文章，专门讲述 KAFKA 的这些新特性。 本文是该系列文章之
kafka如何扩容分区Partition、并重新分区
a13568hki的博客
04-25 1万+
1.扩容 在新的物理机上安装kafka程序，修改config/server.properties文件里的broker.id必须在集群中唯一，修改其他必要的配置项，其中zookeeper.connect配置项，写上kafka集群现在使用的zookeeper集群的地址。 然后启动kafka就可以加入到集群中了。 但是新加入的机器只能对新产生的topic起作用，对已有的topic在没有做处理前，是不会承担任何任务的，所以不会分担集群的压力。 2.重新分区Partition 假设有一个名为test的topic，只有
Kafka Repartition --增加分区
紫蝶侠的博客
07-20 992
Kafka Repartition
kafka相关命令操作，新建分区，增加分区
最新发布
发光棒的博客
08-16 1132
虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量。分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数。
【kafka】三、kafka命令行操作
return
11-25 2528
kafka命令行操作kafka的相关操作命令脚本文件在bin目录下。
kafka扩充toptic的分区
beyond的博客
09-23 1535
情景描述： kafka原先消费节点是3个，但是topic下分区只有2个。 我们都知道，一个节点可以消费多个分区，而一个分区只能被一个节点消费，所以导致一个消费节点被闲置，为了提高消费速度避免积压，现需增加1个分区让闲置节点开始消费。 具体操作如下： ##查看Kafka 消费者 偏移量 ./kafka-consumer-groups.sh --group test --bootstrap-server 10.32.39.105:9092 --describe ##将toptic分区增加到3个 ./kafka
一文读懂Kafka生产集群规划和调优
weichuangxxb的博客
05-01 973
前言: 通常对于初创企业或者初创业务团队来说，对于开源组件的使用都会显的比较随意，而这种情况会随着业务量级的增长和时间的推移导致开源服务的滥用和乱用，进而造成的结果就是整体业务的稳定性和可靠性相对较差，而此时，扩容的行为是边际效应递减的，如果此时不对整体业务以及开源服务进行规划和改造，那么风险和成本将是同比增长的，因此在开始阶段，需要对开源组件，特别是分布式组件进行场景规划和调优。 在我过去的...
一文读懂kafka消息拉取机制｜线程拉取模型
2401_83330193的博客
04-05 905
总体来说，如果你想转行从事程序员的工作，Java开发一定可以作为你的第一选择。但是不管你选择什么编程语言，提升自己的硬件实力才是拿高薪的唯一手段。如果你以这份学习路线来学习，你会有一个比较系统化的知识网络，也不至于把知识学习得很零散。我个人是完全不建议刚开始就看《Java编程思想》、《Java核心技术》这些书籍，看完你肯定会放弃学习。建议可以看一些视频来学习，当自己能上手再买这些书看又是非常有收获的事了。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！
一文读懂Kafka API：Producer、Consumer和Streams全解析
孤芳不自赏
06-20 365
大家好，今天我们将深入探讨Kafka的三大核心API。通过这篇文章，你将了解如何使用Producer API发布记录流，利用Consumer API订阅和处理数据，以及通过Streams API实现复杂的流处理。一起开启Kafka的探索之旅吧！
kafka在线扩展、并重新分区
qq_44637753的博客
09-21 1604
kafka在线扩展、并重新分区
kafka之为topic增加partition
草上爬的博客
04-12 1万+
操作指令如下：将topic gome中的partition增加到10个 bin/kafka-topics.sh --alter --zookeeper 10.112.179.12:2181 --partitions 10 --topic gome具体参数的含义可以通过执行bin/kafka-topics.sh来查看，如下所示：
Kafka：增加Topic的分区数
kaven
02-12 3515
测试环境参考下面这篇博客： Kafka：搭建Kafka集群 pom.xml： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/
Kafka topic增加partitions
微步的博客
10-23 6922
把topic分区数从1增加到3。   执行增加命令：kafka-topics --alter --topic zhuzh009 --zookeeper cdh-002/kafka --partitions 3 注意该命令分区数partitions只能增加，不能减少   通过kafka-topics --describe --zookeeper cdh-002/kafka查看可知，新增...
kafka 动态扩容现有 topic 的分区数和副本数
以梦为马|越骑越傻
08-31 3766
之前的 topic 是 1 副本，12 分区，按照之前的 5-1-0-3-2-4 的顺序来分配第一个副本，然后按照 4-3-2-0-1-5 的顺序来分配第二个副本，我这里的 json 文件就命名为：add_rep_test_topic_update.json，大家可以以自己实际来命名。但是观察消费者组的情况，显示的是都消费了，看起来，应该是和 topic 加入新消费者组的情况一样，不展示，但实际消费数据了（这块是个人的理解，具体的原理需要有兴趣的大佬深究一下，希望能赐教带我飞）通过命令查看消费者组的情况。
如何给 Kafka 新增分区
天道酬勤
04-23 9501
数据量猛增的时候，需要给 kafka 的 topic 新增分区，增大处理的数据量，可以通过以下步骤 1、修改 topic 的分区 kafka-topics --zookeeper hadoop004:2181 --alter --topic flink-test-04 --partitions 3 2、迁移数据 生成迁移计划，手动新建一个 json 文件 { "topics": [ {"topic...
【Kafka】单分区单副本增加至多分区多副本
王木头的博客
11-24 1478
消费延迟处理
kafka 反序列化异常：org.apache.kafka.common.errors.SerializationException
热门推荐
Crystalqy的博客
07-06 2万+
Spring boot集成kafka时候，能够正常发送消息，但是接受消息时，报错org.apache.kafka.common.errors.SerializationException，提示序列化错误(自定义的消息对象不在kafka信任的包路径下) org.apache.kafka.common.errors.SerializationException: Error deserializ...
springboot集成kafka消费者序列化问题报错*is not an instance of org.apache.kafka.common.serialization.Deserializer
wfanking的博客
03-11 2万+
前言：之前博客里面提到本公司为物联网项目。项目中使用mqtt+kafka进行与设备端的通讯，之前的协议格式为json格式，现在改成字节数组byte[]格式进行通信。 报错信息如下 org.apache.kafka.common.serialization.ByteArraySerializer is not an instance of org.apache.kafka.common.seri...
spark streaming读Kafka
05-22
Spark Streaming 可以很方便地读取 Kafka 中的数据，下面是一些简单的步骤： 1. 确保你的 Spark 环境中已经包含了 `spark-streaming-kafka` 库。 2. 创建一个 `StreamingContext` 对象，设置批处理间隔。 3. 创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ware_soft

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值