Kafka
文章平均质量分 92
Kafka 学习笔记
SK_Jaco
这个作者很懒,什么都没留下…
展开
-
Canal和Kafka整合方案——解决Canal写入Kafka并发消费问题
文章目录一、问题描述二、引入Kafka1.Canal整合Kafka及项目初步搭建2.整合Kafka后引出新问题三、最终方案1.修改Canal配置文件2.修改项目代码3.整体架构4.结果验证四、总结思考五、参考一、问题描述在使用Canal读取binlog来对数据库增量进行同步时遇到一下几个问题首先是在使用Canal自带客户端进行同步时需要自己手动调用get()或者getWithoutAck()进行拉取拉取日志后进行同步只能一条一条处理,效率比较低如果处理日志过慢或者其他原因容易导致日志堆积在服务器原创 2020-08-11 21:36:34 · 9200 阅读 · 1 评论 -
简单聊一聊零拷贝
文章目录前言Direct Memory Access(DMA)传统数据iommap拷贝sendFilemmap和sendFile比较前言零拷贝我们经常听说,相比于传统的io在性能上有了很大提升,那么在os里面他是怎么设计的呢,与传统io又有什么区别呢Direct Memory Access(DMA)在聊零拷贝之前,先看一看DMA在百度百科中的解释如下DMA(Direct Memory Access,直接存储器访问) 是所有现代电脑的重要特色,它允许不同速度的硬件装置来沟通,而不需要依赖于 CPU原创 2020-07-31 19:51:49 · 545 阅读 · 0 评论 -
MySQL数据增量同步——Canal搭建部署
文章目录简介canal部署MySql设置canalcanal多数据源监听canal-admin搭建canal整合kafka坑版本canal.deployer-1.1.4简介canal是阿里巴巴开源的一款用于MySQL数据库增量日志解析组件,提供增量数据订阅和消费功能。canal读音[kəˈnæl]canal 工作原理canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议MySQL master 收到原创 2020-07-24 20:16:00 · 4909 阅读 · 11 评论 -
Kafka——Kafka搭建及问题解决
简介Kafka是基于发布与订阅的消息系统设计的分布式流处理平台,有scale和java编写开发,官方对其描述为拥有三大功能:Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system.(发布订阅流记录,与消息队列、企业级消息系统相似)Store...原创 2019-08-27 23:12:17 · 723 阅读 · 0 评论 -
Kafka——Kafka相关操作
命令行操作创建Topic->向Topic发送消息->接收Topic消息,所有消息命令都在kafka文件的bin目录下创建Topic和Topic有关的指令都是用bin目录下的kafka-Topics.shbin/kafka-topics.sh --create --bootstrap-server 192.168.108.129:9092 --replication-factor...原创 2019-09-05 21:27:04 · 1455 阅读 · 0 评论 -
Kafka——SpringBoot整合Kafka
maven配置<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> ...原创 2019-09-10 20:55:13 · 1275 阅读 · 0 评论