kafka
祁_z
这个作者很懒,什么都没留下…
展开
-
kafka三种消息确认机制,可降低消息丢失性
消息写入到所有副本的日志中才算提交,才可以被消费者消费。这是对消费者来说的,生产者是否要等待消息都被写入所有副本之后才收到返回是另外一回事,这个可以通过acks来配置,kafka为生产者提供3种消息确认机制(request.required.acks参数): acks=0,生产者无需等待代理返回确认,就是可以连续发送,但是无法保证消息是否被代理收到。 acks=1,生产者需要等待Leader副本成功写入日志。这种方式降级了消息丢失的可能性,但是也只是Leader写入日志而不管Follow原创 2021-02-16 22:39:20 · 1139 阅读 · 0 评论 -
kafka - Consumer 手动acks应答
yaml配置# 是否自动消费(true=自动应答)enable-auto-commit: falselistener: ## 手动提交ack offset模式 ack-mode: manual# kafkaspring: kafka: # kafka服务器地址(可以多个) bootstrap-servers: 192.168.2.190:9092 # 配置消费者 consumer: # 指定一个默认的消费者组名 group原创 2020-07-16 13:09:17 · 2787 阅读 · 0 评论 -
kafka - Producer 手动acks应答
第一种acks/** * 生产者发送消息 * * @param key 推送数据的key * @param data 推送数据的data */ private void send(String key, String data) { // topic key名称 data消息数据 ListenableFuture<SendResult<String, String>> liste...原创 2020-07-16 10:00:48 · 761 阅读 · 0 评论 -
kafka顺序性投递,顺序性消费代码
topic: "topic_query_p3r1" 分配了三个partition分区实现顺序性原理:设置相同的key会把消息投递到同一个分区的topic中,再由一个消费者来消费该分区topic。投递顺序消息 同一组行为设置相同的key,会把这组数据投递到同一分区topic中。 /** * 投递顺序性消息,根据用户id做取模推送到不同分区的topic中 * 相同的key推送到同一分区中 */ @RequestMapping("/kaf...原创 2020-07-15 11:25:24 · 1514 阅读 · 0 评论 -
kafka、zookeeper安装(windows),springboot集成
安装zookeeper1. zoo_sample.cfg 修改为zoo.cfg2. 修改 zoo.cfg 中的dataDir=E:\zkkafka\zookeeper-3.4.14\data新增环境变量(不加也可以): ZOOKEEPER_HOME:E:\zkkafka\zookeeper-3.4.14(zookeeper目录) Path: 在现有的值后面添加 ...原创 2020-09-23 09:38:57 · 424 阅读 · 0 评论