Kafka
怪只怪满眼尽是人间烟火
尚未佩妥剑 转眼已江湖
展开
-
java消费kafka数据之后,进行堆积之后在插入数据库
java高频的获取kafka数据,导致数据库数据一致在高频读写,为了降低数据库的高频连接搞高频读写,可以将数据堆积一段时间之后,进行插入数据库操作。主要采用了队列和缓存,将获取到的数据放入java队列中,利用缓存进行延时判断。 <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version原创 2022-04-13 18:01:17 · 3639 阅读 · 0 评论 -
kafka查看topic数据消费情况
1.查询消费者ID:./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list2:查看消费情况./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group cdc-consumer-group TOPIC PARTITION CURRENT-OFF.原创 2022-02-08 14:26:04 · 7548 阅读 · 0 评论 -
canal修改同步binlog日志位点
canal/conf/example/meta.dat文件{"clientDatas":[{"clientIdentity":{"clientId":1001,"destination":"example","filter":""},"cursor":{"identity":{"slaveId":-1,"sourceAddress":{"address":"192.168.21.60","port":3306}},"postion":{"gtid":"","included":false,"journ原创 2022-02-08 10:59:19 · 2213 阅读 · 0 评论 -
linux单机版kafka启动命令
需要java环境,推荐1.8以上下载kafka,解压,进入kafka的bin目录启动zookeeper(Kafka 0.5.x版本以上已经自带ZooKeper)自测的话直接使用自带的zookeeper就行,要是生产的话,建议分离。nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &启动kafkanohup ./kafka-server-start.sh ../config/server....原创 2022-01-25 11:42:08 · 1809 阅读 · 0 评论 -
Zookeeper和kafka在linux环境下的安装
linux的保存退出命令是 vim esc + :X或者shift+zzlinux的退出命令是 vim esc + :QZookeeper安装tar -zxvf zookeeper-3.4.10.tar.gzmv zookeeper-3.4.10/* /usr/local/zookeeper/解压更改conf/zoo.cfg(没有复制一个)主要修改dataDi...原创 2019-07-29 10:23:26 · 467 阅读 · 0 评论 -
Kafka入门之分组的理解
Kafka介绍Kafka(卡夫卡)是一个分布式流处理平台,它的流行是因为卡夫卡系统的设计和操作简单,能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量,因此很适合实时的数据流处理。1.原理图2. kafka分组的核心是:Kafka可以将消息复制并分发给所有consumer group(分组),但每个分组只有一个 consumer(消费者)能消费这条消息...原创 2019-07-26 09:49:38 · 1650 阅读 · 0 评论 -
Kafka系统的组件、角色以及和zookeeper的关系
broker: 每个正在运行的kafka节点,部署kafka的服务器, 以broker.id来区分producer:消息生产者consumer:消息的消费者consumer group:消费者组,同一个消费者组只能有一个consumer能消费消息topic:主题, 主题中的每条消息包括key-value和timestamp。可以定义多个topic,每个topic又可以划分为多个分区...原创 2019-07-26 09:51:05 · 798 阅读 · 0 评论 -
SpringBoot集成Kafka
<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dependency> ...原创 2019-08-07 09:40:16 · 463 阅读 · 0 评论 -
Kafka集群环境搭建
首先准备至少三台虚拟机。每台虚拟机解压下载好的kafka压缩包并重命名cd /usr/localwget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgztar -zxvf kafka_2.11-1.0.0.tgzmv kafka_2.12-0.11.0.0 kafka修改配置文件v...原创 2019-08-07 10:30:56 · 430 阅读 · 0 评论