![](https://img-blog.csdnimg.cn/20191031174629691.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
王义凯_Rick
如果对你有帮助,就请点个赞吧~
展开
-
CDC系列(三)、Debezium 监控MySQL操作日志实时同步到Kafka(对比canal,maxwell)
目录前言准备工作配置Connector注册启动Connector验证CDC尾巴CDC系列:CDC系列(一)、Canal 集群部署及使用(带WebUI)CDC系列(二)、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka前言前两篇我们介绍了CDC工具,以及利用Canal和Maxwell监控mysql操作日志并写入kafka,本篇我们来讲解另一个CDC工具:debezium。debezium不仅仅支持mysql的监控,目前最新版已支持mysql原创 2020-09-25 18:04:30 · 12362 阅读 · 14 评论 -
Kafka系列(七)、Kafka套件 Confluent Platform 单机/集群部署
Confluent 由kafka的核心成员成立,目前最新版Confluent为v5.5.1版本,对应的kafka版本为Apache Kafka_v2.5.0,在Confluent中不仅包含了kafka,还有下面几个组件,增强了kafka的功能也大大提升了kafka的易用性。KSQL:通过SQL查询topic内的数据;Confluent Connetors:支持配置HDFS,Cassandra,MySQL,Oracle,Postgre,MongoDB,Kudu等数据源的source和sink;Conf原创 2020-09-24 02:43:01 · 3861 阅读 · 3 评论 -
Kafka系列(六)、Kafka开发套件kafka lenses 安装及使用(带WebUI)
Lenses 是kafka的一个商用套件,本次我们使用docker安装他们给我们提供的开源版本,该开源版本包含超多组件,对于平时开发使用来说很友好,不需要去安装一堆开发组件,它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent REST Proxy 以及几个lenses开源的管理ui界面kafka-topics-ui, schema-registry-ui, kafka-connect-ui,原创 2020-09-23 15:12:42 · 1921 阅读 · 0 评论 -
CDC系列(二)、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka
在上一篇我们介绍了CDC工具,以及Canal的集群安装和使用,本篇我们来讲解另一个CDC工具:Maxwell。和Canal一样,Maxwell也是将自己伪装成MySQL的slave节点,通过监控MySQL的binlog来将数据操作日志同步到kafka等消息队列中供异构数据源使用。本篇我们会介绍Maxwell的安装和使用。和Canal一样,一定要至少准备一个MySQL库用于Maxwell的管理库存放状态信息以及用来监控的MySQL库,监控到的binlog导出到kafka,因此也需要准备kafka原创 2020-09-22 23:20:02 · 2452 阅读 · 0 评论 -
CDC系列(一)、Canal 集群部署及使用(带WebUI)
CDC(Change Data Capture)是一种捕获数据修改的技术方案,常常应用于异构数据源之间的数据同步。通常有两种解决方案:批式定时根据查询条件采集变更数据、监控数据源的操作日志。对于第一种批式的方案好处是门槛低成本低但坏处是可能会造成数据丢失以及数据有延迟等等,第二种日志方案好处很明显,比如对数据源侵入性低,数据时效性更高,不会有数据丢失的风险等等。在目前的关系型数据库中如MySQL、Oracle、SQLServer、Postgre等都提供了用于同步的日志解决方案,如MySQL基于binlog在原创 2020-09-22 15:03:54 · 8111 阅读 · 6 评论 -
Kafka系列(五)、开启SASL安全认证以及配置ACL权限控制
本篇是kafka系列的第五篇,介绍kafka配置安全认证SASL以及ACL权限控制,并使用控制台和python访问开启了SASL认证的kafka集群。原创 2020-09-18 14:52:56 · 11003 阅读 · 1 评论 -
Kafka系列(四)、消费者策略、Rebalance机制、Offset存储机制
本篇是kafka系列的第四篇,介绍kafka消费者策略,分区分配策略,Rebalance重分配策略,以及offset存储机制原创 2020-09-17 16:16:33 · 3013 阅读 · 0 评论 -
Kafka系列(三)、生产者分区策略、ISR、ACK、幂等性、事务机制
本篇是kafka系列的第三篇,介绍kafka生产者的分区策略、ISR、ACK机制,故障处理,一致性语义,Exactly Once精准一次性语义等原创 2020-09-17 01:24:34 · 1839 阅读 · 0 评论 -
Kafka系列(二)、架构原理及存储机制
本篇是kafka系列的第二篇,介绍kafka的架构原理,工作流程以及存储机制,然后讲解了kafka为什么这么高性能高吞吐的原因及优化的点。原创 2020-09-16 21:12:11 · 2704 阅读 · 1 评论 -
Kafka系列(一)、2.6.0版本kafka集群搭建
本篇是kafka系列的正式第一篇,首先介绍搭建kafka集群。Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。原创 2020-09-15 13:24:15 · 2378 阅读 · 5 评论 -
kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用
yahoo开源的大名鼎鼎的kafka-manager,现名CMAK.github:https://github.com/yahoo/CMAK下载最新版:cmak-3.0.0.4.zip解压:unzip cmak-3.0.0.4.zip进入目录并修改配置:cdcmak-3.0.0.4vimconf/application.conf下载并安装jdk11:ope...原创 2020-04-29 18:53:53 · 3052 阅读 · 0 评论 -
滴滴开源的kafka-manager编译及部署使用
github:https://github.com/didi/kafka-manager使用文档:https://github.com/didi/kafka-manager/blob/master/doc/user_cn_guide.md本文介绍滴滴的kafka-manager的编译及使用。修改了默认的mariadb为mysql8。如果不想编译的话也可以直接使用我编译好的版本:did...原创 2020-04-29 10:58:55 · 5317 阅读 · 6 评论 -
kafka 2.4.1单机版部署及使用
下载,解压,配置环境变量,修改配置,启动验证。使用Kafka Eagle监控kafka集群:kafka监控系统kafka eagle安装使用1.下载2.4.1版本写文章的时候看到2.5.0已经发版的,部署方式一样。http://kafka.apache.org/downloads2.解压tar包tar -zxvfkafka_2.11-2.4.1.tgz -C .3.配...原创 2020-04-28 15:12:29 · 4450 阅读 · 4 评论 -
kafka监控系统kafka eagle安装使用
简介介绍一个国人开源的kafka的监控系统Kafka-Eagle.同类型的还有kafka-manager,不过官方版已经很久不更新了,不支持kafka2以后的版本,滴滴维护开源了一个支持kafka多版本监控的kafka-manager,之后有时间了再试试。官网:https://www.kafka-eagle.org/下载:http://download.kafka-eagle.org...原创 2020-04-28 14:41:21 · 3635 阅读 · 8 评论