![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
canal
文章平均质量分 64
weixin_42772168
这个作者很懒,什么都没留下…
展开
-
Kafka相关配置,canal检测数据发送kafka同步数据到ES
文章目录前言1.application.yml2.kafka的配置类config2.kafka的consumer总结前言Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是:日志收集系统和消息系统。Kafka主要设计目标如下:以时间复杂度为O(1)的方原创 2021-02-25 11:38:20 · 859 阅读 · 0 评论 -
canal配合kafka来实现同步数据到ES
文章目录Java客户端(canal)1.引入库2.canal客户端代码如下:总结Java客户端(canal)提示:以下是本篇文章正文内容,下面案例可供参考1.引入库引入Maven依赖(示例):<dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.4</versio原创 2021-02-25 11:22:49 · 1406 阅读 · 0 评论 -
canal1.1.4相关配置及安装(下一篇配合kafka来实现同步数据到ES)
Canal,译意为水道/管道/沟渠。主要用途是基于MYSQL数据库增量日志解析,提供增量数据订阅和消费。通过binlog日志来实现对数据库的检测。文章目录Canal一、修改mysql的配置二、Canal的安装1.修改canal.instance.master.address的值为要连接的数据库的ip地址2.设置连接数据库的用户名和密码,这个用户名和密码是在Mysql中授权的用于伪装成Mysql slave的用户名和密码3 配置监控规则总结Canal提示:以下是本篇文章正文内容,下面案例可供参考原创 2021-02-25 11:09:11 · 563 阅读 · 1 评论