2021年04月_GavinYCF

转载 k8s集群下搭建-canal:canal-server

k8s集群下搭建-canal:canal-serverk8s集群下搭建数据同步工具-canal:canal-server篇前言容器化 canal-server 环境准备 k8s集群创建pod canal-server 前言canal-server的搭建过程与canal-admin大体相同，但需要解决一下一些问题，我们知道，server是通过canal.properties中的register.ip向admin注册server信息的，但是在k8s环境下，po..

2021-04-23 18:33:28 3904 5

转载 canal 监听同步指定数据库，所有表

canal 监听同步指定数据库，所有表因为工作需求，需要用到数据库同步，又从网上找了一些发现都有些问题，所以自己弄好之后写一篇总结，及配置步骤吧先将 MySQL配置成 bin-log模式给MySQL配置canal用户下载 canal工具（在这里我用的是：canal.deployer-1.1.5-SNAPSHOT）我会把工具上传到我的资源（免费的）配置instance.properties 配置文件编写java api开始配置配置...

2021-04-15 11:54:41 3032

转载 canal高可用部署安装和配置参数详解

canal高可用部署安装和配置参数详解软件下载下载地址:https://github.com/alibaba/canal/releases解压到/usr/local/canal目录tar zxvf canal.deployer-1.1.3-SNAPSHOT.tar.gz -C /usr/local/canal/配置修改vim conf/example/instance.properties1、mysql serverId，改成唯一的########################

2021-04-14 11:48:48 2902

转载大数据时代，数据实时同步解决方案的思考—最全的数据同步总结

1、早期关系型数据库之间的数据同步1）、全量同步比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。3）、基于触发器的增量同步增量同步一般是做实时的同步，早期很多数据同步都是基于关系型

2021-04-13 10:39:50 1373

转载 MySQL数据同步方案实战

MySQL数据同步方案实战准备MySQL 5.6 Canal 1.0.24 Kafka 1.0.0 Zookeeper 3.4.11 Spring Boot JDK 8 IntelliJ Idea 14.1.7背景在实际工作中，多个系统使用相同的用户等业务数据是常有的事情。随着需求的迭代式开发，系统的增加。系统的业务数据变更通知逐渐成为痛点，将数据变更逐一通知到其他系统在系统少的时候勉强可以接受，但是系统变多，需要通知的业务数据增多再使用此类的方式无疑是得不偿失的，且极不易维.

2021-04-13 10:19:44 532

转载 mysql数据同步解决方案_数据同步解决方案-canal

mysql数据同步解决方案_数据同步解决方案-canal工作原理canal 译意为水道，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。* MySQL主备复制原理MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(r.

2021-04-13 10:16:12 403

转载 Kubernetes核心概念之Volume存储数据卷nfs-pv-pvc

Kubernetes核心概念之Volume存储数据卷详解在Docker中就有数据卷的概念，当容器删除时，数据也一起会被删除，想要持久化使用数据，需要把主机上的目录挂载到Docker中去，在K8S中，数据卷是通过Pod实现持久化的，如果Pod删除，数据卷也会一起删除，k8s的数据卷是docker数据卷的扩展，K8S适配各种存储系统，包括本地存储EmptyDir,HostPath,网络存储NFS,GlusterFS,PV/PVC等，下面就详细介绍下K8S的存储如何实现。一.本地存储...

2021-04-02 14:30:44 315

梦想起飞的地方.........