![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
database
文章平均质量分 92
iteye_7245
这个作者很懒,什么都没留下…
展开
-
事务隔离级别小记
事务的四个属性:原子性(atomicity)、一致性(consistency)、隔离性(isolation)和持久性(durability)。1.原子性(Atomic) 最重要的原则,也是最容易理解的原则。被事务管理的所有方法,要么一起被提交,要么一起回滚。2.一致性(Consistency) 事务在系统完整性中实施一致性,如果事务成功地完成,那么系统中所有变化将正确地...2009-02-15 21:47:00 · 96 阅读 · 0 评论 -
canal DevGuide
背景 先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下如何给canal贡献代码,介绍其设计思路和扩展方式 设计 说明:server代表一个canal运行实例,对应于一个jvminstance对应于一个数据队列 (1个server对应1..n个instance)instan...2013-04-01 23:33:18 · 146 阅读 · 0 评论 -
Canal AdminGuide
背景 先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下如何部署&使用 环境要求1. 操作系统 a. 纯java开发,windows/linux均可支持 b. jdk建议使用1.6.25以上的版本,稳定可靠,目前阿里巴巴使用基本为此版本. 2. ...原创 2013-03-19 19:43:52 · 707 阅读 · 0 评论 -
mysql TableMap id递增问题
背景 这两天在线上运行的mysql数据库同步,过个1,2天就爆了一次内存,所以dump了一下jvm内存信息分析了下,发觉就是tablemap对象的cache是一个罪魁祸首,2G的old区,平均被4个同步任务划分掉。 解释下,缓存tablemap的意义: a. insert/update/delete语句操作数据库时,在binlog中会产生两条binary log,...2013-02-06 16:19:00 · 183 阅读 · 0 评论 -
阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。ps. 目前内部使用的同步,已经支持mysql5.x和oracle部分...2013-02-06 00:36:23 · 1469 阅读 · 0 评论 -
Canal ClientExample
Canal介绍 基于mysql数据库binlog的增量订阅&消费 ClientExample依赖配置:(目前暂未正式发布到mvn仓库,所以需要各位下载canal源码后手工执行下mvn clean install -Dmaven.test.skip)<dependency> <groupId>com.alibaba.otte...原创 2013-02-06 00:29:09 · 527 阅读 · 0 评论 -
Canal QuickStart
Canal介绍 基于mysql数据库binlog的增量订阅&消费 QuickStart几点说明:(mysql初始化)a. canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,并且配置binlog模式为row. [mysqld]log-bin=mysql-bin #添加这一行就okbin...原创 2013-02-06 00:28:47 · 147 阅读 · 0 评论 -
Canal BinlogChange(mariadb5/10)
背景先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下canal支持mariadb协议上的变化. 协议变化mariadb5.5mariadb5.5主要是基于mysql5.5的原型,类型定义基本没啥变化,大体上都保持兼容主要的变化:1. QueryLogEvent增加了status变量....原创 2014-01-20 17:25:27 · 439 阅读 · 0 评论 -
阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具
背景 08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步. 项目介绍名称: yugon...原创 2016-03-05 18:29:59 · 651 阅读 · 0 评论 -
阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)
项目背景 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。 otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求...2013-08-22 16:48:06 · 746 阅读 · 0 评论 -
mysql number类型引号问题
背景 这几天在做数据自动化同步测试过程,发现一个诡异的现象。一批100条语句的更新过程中,同步到目标库去执行,总会有几条记录出现更新失败。原因1. 查看了同步过程中的执行日志,也米有啥特别明显的问题,单就是update affect = 0 。2. 问题的查找方式也是比较简单,针对底层执行的update语句,挨个字段确认,到底是哪一个字段影响了记录的定位。 最后发现是一个Decim...2012-03-28 17:33:55 · 739 阅读 · 0 评论 -
dbcp重连失败问题排查记录(timeout设置)
背景 前几天很悲剧,公司的oracle小型机据说是网卡驱动有问题,导致数据库整整挂了1个多小时,后来切换到了备份数据库上,可用性一下子跌倒了3个9。 在后续的某一天,凌晨3点进行了网卡升级,又从备份库重新切回主库的时,测试过程中发现dbcp的自动重连部分机器有问题。问题描述整个过程出现了两种错误日志: 异常1: Caused by: java.sql.SQL...原创 2011-04-29 15:22:11 · 1512 阅读 · 0 评论 -
mysql几个参数(编码,预编译,批处理)
背景 这两天在做数据同步项目的联调,测试过程中发现针对mysql的一些使用上存在一些问题,比如batch不起效果,编码问题,预编译失效等等。 这里总结一下,做一下记录,希望对遇到类似问题的有所帮助内容编码问题官方文档: http://dev.mysql.com/doc/refman/4.1/en/connector-j-reference-charsets.html网上针对my...2011-11-22 16:08:01 · 350 阅读 · 0 评论 -
操作database TableMeta几点内容
背景 今天早上,领导给了我一个任务:在老的系统运行中,DBA反馈说获取database TableMeta操作有点慢,让我分析下基于oracle driver驱动是否可以做下优化。由此引出了本文,仅仅做一个记录。内容在补充几点背景知识: 1. 老系统介绍老系统主要负责的业务是做跨机房之间的数据库记录同步,需要获取数据库的table meta信息,进行构造对应的sql...2011-11-15 19:47:59 · 505 阅读 · 0 评论 -
mysql一些操作个人备忘(持续更新)
安装mysql数据库目录/usr/local/mysql/bin/mysql_install_db --user=mysql --datadir=/home/mysql/var ##指定安装后的数据目录 mysql 启动/关闭/usr/local/mysql/bin/mysqld_safe --defaults-file=/home/mysql/.my.cnf --us...2011-03-23 23:14:04 · 117 阅读 · 0 评论 -
dbcp继续优化篇(statement cache)
背景 昨天有同事反映,原先用jboss jndi数据源,现在换成基于spring容器的dbcp配置后,发现原先的请求从5ms,增加到7ms,性能下降了50%。 分析 在服务器上观察了一下请求的profile信息,发现一个请求90%多的时间都在mysql处理: 25%为prepared statement,70%为mysql read数据等待。 使用j...2010-12-10 10:09:52 · 308 阅读 · 0 评论 -
解读dbcp自动重连那些事
可以后另一篇做对比:http://agapple.iteye.com/blog/772507同样的内容,不同的描述方式,不一样的效果. Hi all :最近在做offerdetail优化时,替换了数据库驱动,从c3p0 0.9.1-> dbcp 1.4,顺便研究了下dbcp...2010-10-23 01:01:00 · 385 阅读 · 0 评论 -
dbcp基本配置和重连配置
最近在看一些dbcp的相关内容,顺便做一下记录,免得自己给忘记了。1. 引入dbcp (选择1.4)<dependency> <groupId>com.alibaba.external</groupId> <artifactId>jakarta.commons.dbcp</artifactId> <v...2010-09-26 19:27:10 · 387 阅读 · 0 评论 -
Canal BinlogChange(mysql5.6)
背景先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下canal1.0.3支持mysql5.6协议上的变化. 协议变化1. binlog checksum mysql5.6之后,支持在binlog对象中增加checksum信息,比如CRC32协议. 其原理主要是在原先bin...2013-04-09 00:26:32 · 255 阅读 · 0 评论