![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 63
少年.
这个作者很懒,什么都没留下…
展开
-
【kafka】分区器
我们也可以自己实现接口来自定义分区器通过配置来配置自定义的分区器。原创 2022-08-15 17:05:12 · 585 阅读 · 0 评论 -
【kafka】序列化器与反序列化器
如果kafka自带的序列化器不能满足我们的需求,则我们可以实现接口来自定义序列化器,下面是一个自定义类序列化器的例子:假设我们要发送的是User}我们可以自定义} }我们自定义把User对象转换为JSON字符串,然后把JSON字符串转换为字节数组返回要使用自定义的序列化器,配置即可。...原创 2022-08-12 16:52:43 · 2622 阅读 · 0 评论 -
【kafka】生产者拦截器和消费者拦截器
拦截器(Interceptor)是在kafka 0.10.0.0引入的,主要用来实现client端的一些定制化控制逻辑。原创 2022-08-10 17:15:53 · 874 阅读 · 0 评论 -
【kafka】消费者位移提交
消费者位移:Consumer Offset ,表示消费者消费到的位置消息位移:Offset , 表示消息在分区中的位置。原创 2022-08-09 17:06:16 · 331 阅读 · 0 评论 -
kafka消息的生产和消费(java)
KafkaProducer还提供了一个带超时时间的重载方法,如果使用这个重载方法,则只会等待指定的超时时间,如果超过了这个时间,即使还有消息未发送完成,也会强行退出。kafka消费消息是一个不断轮询的过程,在上面的代码中可以看出,消费者消费消息就是重复的调用。就是发后即忘,他只管发送消息,至于有没有发送成功不关心,这就有消息丢失的可能。有四个重载方法,可以以集合的方式或者正则表达式的方式来订阅主题。方法返回的则是所订阅的主题(分区)上的一组消息。不会只发送单条消息。在发送完所有的消息后,调用。...原创 2022-08-08 17:07:49 · 2553 阅读 · 0 评论 -
【kafka】基本名词解释
消息的主题,每个broker上可以创建多个topic,一个topic可以横跨多个broker,kafka中的消息以topic进行分类,发送到kafka的每一个消息都要指定一个topic,消费者则负责订阅topic并消费。:偏移量,消息在被追加到分区的log文件的时候都会分配一个偏移量offset,这是消息在分区内的唯一表示,他可以保证消息在分区内是有序的,但他不是跨分区的(也就是说kafka可以保证分区有序而不是主题有序)在kafka的设计中,一个分区的数据只能被同一个消费者组的一个消费者消费。...原创 2022-08-04 17:16:47 · 195 阅读 · 0 评论 -
下载安装kafka
log.dirs=/Tools/kafka_2.13-2.4.1/logs //日志位置,该文件夹必须存在,否则启动时会报错。zookeeper.connect=localhost:2181 //zookeeper的连接地址,多个地址用逗号分隔。broker.id=0 //如果是单机安装则不用修改,如果是集群安装则要保证每个broker.id配置不同的值。启动kafka前要先启动zookeeper。然后再打开一个终端启动kafka。.........原创 2022-08-03 16:23:04 · 309 阅读 · 0 评论