amadeus_liu2的博客

【代码】spark stream:从Kafka中读取数据。

四、在producer端输入字符串（空格分割），看consumer输出。

【代码】kafka复习：（24）consume-transform-produce模式。

三、运行结果，按照上述配置，当生产者发送消息并从kafka broker获取到offset后就会sleep,在生产者sleep的时候，消费者是获取不到消息的，只有sleep完成并提交事务之后，消费者才会获取到消息。二、消费者，设置隔离级别为"read_committed"一、生产者，开启事务。

默认情况下，一个分区只能被消费者组中的一个消费者消费。但可以自定义PartitionAssignor来打破这个限制。分别运行生产者和消费者，可以看到相同消费者组里两个消费者可以消费study2023这个topic的同一个分区的数据。二、定义两个消费者，给其配置上述PartitionAssignor.在kafka创建只有一个分区的topic ： study2023。一、自定义PartitionAssignor.

【代码】kafka复习：（21）使用多个线程分别消费某个主题的多个分区。

一、定义消费者拦截器（只消费含"sister"的消息）二、定义消费者，配置消费者拦截器。

【代码】kafka复习：（19）： ConsumerRebalanceListener的用法。

【代码】kafka复习：（18）消费指定时间戳之后的消息。

从分区的开始进行消费，因为kafka会定期清理历史数据，所以分区开始的位移不一定为0。seekToBeginning只是从目前保留的数据中最小的offset进行消费。

【代码】kafka复习：（16）从分区末尾开始消费。

【代码】kafka复习：（15）使用seek从指定位置开始消费。

【代码】kafka复习：（14）异步手动提交位移。

【代码】kafka复习：（13）按分区手动提交位移。

【代码】kafka复习：（12）KafkaConsumer 之committed和position的用法。

也就是默认值为latest,它的含义是：如果没有客户端提交过offset的话，当新的客户端消费时，把最新的offset设置为当前消费的offset.在ConsumerConfig这个类中定义了这个属性的默认值，如下图。手动提交offset的示例。

【代码】kafka复习：（10）按分区获取ConsumerRecord。

【代码】kafka复习：（9）partitionsFor的用法。

【代码】kafka复习：（8）消费某个主题指定分区的消息。

-1”：等待ISR中所有副本写入成功。“1”： 等待leader副本写入成功。“0”：不需要等待broker的回应。

一、定义生产者拦截器。二、使用生产者拦截器。

【代码】kafka复习：（5）自定义分区器。

可以看到，消息最终落在哪个分区就是由总计有几个分区以及key的值来决定的。

二、自定义序列化器和反序列化器。三、定义生产者和消费者。

【代码】kafka复习：（2）客户端发送消息并异步处理返回结果。

【代码】kafka复习（1）：客户端发送消息并同步等待结果。

kafka

kafka

一、准备zookeeper1.下载Zookeeper 3.6.22.解压缩3.进到zookeeper目录4.执行bin/zkServer.sh start二、安装Kafka2.6集群1.下载Kafka 2.6.22.解压缩.3.进入config目录，编辑server.properties主要需要改3个参数：broker.id=0 (第二、三台分别为1，2）log.dirs=/root/kafka-logszookeeper.connect=139.198.xx.xx4.返回上

bin\windows\zookeeper-server-start.bat config\zookeeper.propertiesbin\windows\kafka-server-start.bat config\server.properties

package com.cisdi.dsp.modules.metaAnalysis.rest;import org.apache.kafka.clients.consumer.*;import org.apache.kafka.common.TopicPartition;import org.apache.kafka.common.serialization.StringDeserializer;import java.time.Duration;import java.util.*;im

修改配置socket.request.max.bytes

可能kafka进程还在运行，ps -ef|grep kafka, 将其kill 掉

否则再启动时可能报错，另一个程序正在使用此文件，进程无法访问。

可能是Kafka中的数据与zookeeper中数据不一致造成。删掉相应的文件

可能为程序不能识别kafka集群地址。windows: 修改C:\Windows\System32\drivers\etc\hostsLinux: 修改 /etc/hosts增加ip 与主机的对应关系即可

1.同步public class ProducerMain2 {public static void main(String[] args) throws Exception { // 配置信息 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); // 设置数据ke...