XUEJIA2S的博客

前言使用prometheus监控canal的方法官方文档上已经介绍的很详细了，这里主要是介绍一下在k8s环境下，prometheus通过pod的服务发现，自动添加对新增的canal-server实例的监控操作canal-server的容器化教程在前面文章中已经详细介绍过了，有兴趣的可以看一下。k8s环境搭建canal-server主要关注当时canal-server创建的yaml中的以下配置spec: selector: matchLabels: app: canal-s

前言从canal-adapter文档我们可以知道，其实adapter本身是有从数据库读取配置的功能的，但是文档中只是简单的提了一句，本文就从代码入手，带大家看看adapter从数据库读取配置这部分的功能是如何实现以及应该如何去使用它。代码详解主要介绍几个关键的位置，帮助大家理清思路com.alibaba.otter.canal.adapter.launcher.config.BootstrapConfiguration.java @PostConstruct public void l

前言适配elasticsearch不同版本的过程，是一个了解adapter整体架构的过程，但是同样也很想吐槽elasticsearch的版本间的不兼容问题，不过既然要用，就怂怂的接受好了。适配注：adapter使用版本为1.1.5-alpha在1.1.5版本的adapter中es的同步，将不同大版本的es打成了不同的jar包，然后再通过配置文件去调用相应版本的包去同步数据，官方提供了es6...

前言在canal的数据同步使用过程中，有时会遇到需要修改同步位点的情况，这里对修改位点操作做一下记录。分析我们知道在canal-server的instance的配置文件中有一下配置项是与位点修改相关的，canal.instance.master.journal.name=canal.instance.master.position=canal.instance.master.times...

前言canal-server同步到kafka本身是支持Kerberos方式的鉴权的，但是鉴于项目现在使用的kafka集群使用的是SASL/PLAIN的鉴权方式，所以需要对canal-server同步kafka做一下适配改造。准备kafka SASL/PLAIN鉴权的搭建我参考的这篇文章kafka SASL/PLAIN鉴权的搭建了解如何使用java向以SASL/PLAIN方式鉴权的kafk...

canal-adapter同步mysql问题记录前言同步mysql问题前言canal-adapter目前支持rdb、es、kafka、hbase等多个目标端的同步，最近几篇我会记录一下我在使用adapter向这些目标端同步时，是如何解决es、hbase版本适配，添加部分个性化需求，以及如何处理一些我遇到各种问题。今天先来记录一下adapter同步mysql。同步mysqlapplicat...