数据库
关注
分享
扫一扫
文章平均质量分 85
GavinYCF
梦想起飞的地方
展开
-
k8s集群下搭建-canal:canal-server
k8s集群下搭建-canal:canal-serverk8s集群下搭建数据同步工具-canal:canal-server篇前言 容器化 canal-server 环境准备 k8s集群创建pod canal-server 前言canal-server的搭建过程与canal-admin大体相同，但需要解决一下一些问题，我们知道，server是通过canal.properties中的register.ip向admin注册server信息的，但是在k8s环境下，po..转载 2021-04-23 18:33:28 · 3937 阅读 · 5 评论 -
canal 监听同步指定数据库，所有表
canal 监听同步指定数据库，所有表 因为工作需求，需要用到数据库同步，又从网上找了一些发现都有些问题，所以自己弄好之后写一篇总结，及配置步骤吧 先将 MySQL配置成 bin-log模式 给MySQL配置canal用户 下载 canal工具（在这里我用的是：canal.deployer-1.1.5-SNAPSHOT）我会把工具上传到我的资源（免费的） 配置instance.properties 配置文件 编写java api开始配置 配置...转载 2021-04-15 11:54:41 · 3069 阅读 · 0 评论 -
canal高可用部署安装和配置参数详解
canal高可用部署安装和配置参数详解软件下载下载地址:https://github.com/alibaba/canal/releases解压到/usr/local/canal目录tar zxvf canal.deployer-1.1.3-SNAPSHOT.tar.gz -C /usr/local/canal/配置修改vim conf/example/instance.properties1、mysql serverId，改成唯一的########################转载 2021-04-14 11:48:48 · 2927 阅读 · 0 评论 -
大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
1、 早期关系型数据库之间的数据同步1）、全量同步比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。3）、基于触发器的增量同步增量同步一般是做实时的同步，早期很多数据同步都是基于关系型转载 2021-04-13 10:39:50 · 1433 阅读 · 0 评论 -
MySQL数据同步方案实战
MySQL数据同步方案实战准备MySQL 5.6 Canal 1.0.24 Kafka 1.0.0 Zookeeper 3.4.11 Spring Boot JDK 8 IntelliJ Idea 14.1.7背景在实际工作中，多个系统使用相同的用户等业务数据是常有的事情。随着需求的迭代式开发，系统的增加。系统的业务数据变更通知逐渐成为痛点，将数据变更逐一通知到其他系统在系统少的时候勉强可以接受，但是系统变多，需要通知的业务数据增多再使用此类的方式无疑是得不偿失的，且极不易维.转载 2021-04-13 10:19:44 · 542 阅读 · 0 评论 -
mysql数据同步解决方案_数据同步解决方案-canal
mysql数据同步解决方案_数据同步解决方案-canal工作原理canal 译意为水道，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。* MySQL主备复制原理MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(r.转载 2021-04-13 10:16:12 · 412 阅读 · 0 评论 -
游标cursor 与refcursor及sys_refcursor的区别
cursor 与refcursor及sys_refcursor的区别 引用一、显式cursor 显式是相对与隐式cursor而言的，就是有一个明确的声明的cursor。显式游标的声明类似如下（详细的语法参加plsql ref doc ）： cursor cursor_name (parameter list) is select ... 游标从declare、ope...原创 2013-04-18 16:47:58 · 310 阅读 · 0 评论 -
数据库脏读、幻读、不可重复读
[b]什么是数据库脏读、幻读、不可重复读：[/b]1. 脏读 ：一个事务读到另一个事务未提交的更新数据。脏读就是指当一个事务正在访问数据，并且对数据进行了修改，而这种修改还没有提交到数据库中，这时，另外一个事务也访问这个数据，然后使用了这个被更新后的数据。2. 幻读 : 一个事务读到另一个事务已提交的新插入的数据。例如第一个事务对一个表中的数据进行了修改，这种修改涉...原创 2013-03-14 20:15:08 · 226 阅读 · 0 评论 -
常见的表死锁情况及解决方法
常见的表死锁情况及解决方法1、死锁的第一种情况一个用户A 访问表A(锁住了表A),然后又访问表B；另一个用户B 访问表B(锁住了表B)，然后企图访问表A；这时用户A由于用户B已经锁住表B，它必须等待用户B释放表B才能继续，同样用户B要等用户A释放表A才能继续，这就死锁就产生了。解决方法这种死锁比较常见，是由于程序的BUG产生的，除了调整的程序的逻辑没有其它的办法。仔细分析程序的逻辑，对于...转载 2018-09-09 21:39:09 · 3243 阅读 · 0 评论 -
两个结果集拼接 union和union all的区别
Union因为要进行重复值扫描，所以效率低。如果合并没有刻意要删除重复行，那么就使用Union All 两个要联合的SQL语句 字段个数必须一样，而且字段类型要“相容”（一致）；如果我们需要将两个select语句的结果作为一个整体显示出来，我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来。union和union转载 2015-06-09 17:08:44 · 7752 阅读 · 0 评论 -
Java，Oracle，MySQL数据设计数据类型参考
Java，Oracle，MySQL数据设计数据类型参考分类： DB.MySQL DB.Oracle2013-04-19 15:18 116人阅读 评论(0) 收藏 举报Java类MySQLOracle字节范围Characterchar(1)char(1)20～65535Stringvarch原创 2013-06-19 10:06:11 · 551 阅读 · 0 评论