阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具

背景    08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从O...

2016-03-05 18:29:59

阅读数 81

评论数 0

Canal BinlogChange(mariadb5/10)

背景 先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】  本文主要是介绍一下canal支持mariadb协议上的变化.    协议变化 mariadb5.5 mariadb5.5主要是基于mysql5.5的原...

2014-01-20 17:25:27

阅读数 56

评论数 0

Canal Client API

  快速体验 1.  首先需要先启动canal server,可参见:Canal Server的QuickStart 2.  运行canal client,可参见:canal client的ClientExample   如何下载 1.  如果是maven用户,可配置mvn dep...

2013-10-29 14:45:46

阅读数 89

评论数 0

阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)

  项目背景    阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。    otter第一版本可追溯到04~05年,此次外部开源的版...

2013-08-22 16:48:06

阅读数 164

评论数 0

Canal BinlogChange(mysql5.6)

背景 先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】    本文主要是介绍一下canal1.0.3支持mysql5.6协议上的变化.    协议变化 1.   binlog checksum     my...

2013-04-09 00:26:32

阅读数 72

评论数 0

canal DevGuide

背景    先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】     本文主要是介绍一下如何给canal贡献代码,介绍其设计思路和扩展方式   设计  说明: server代表一个canal运行实例,对应于一...

2013-04-01 23:33:18

阅读数 23

评论数 0

Canal AdminGuide

 背景    先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】     本文主要是介绍一下如何部署&使用   环境要求 1. 操作系统     a.  纯java开发,windows/...

2013-03-19 19:43:52

阅读数 55

评论数 0

github上基于milestone自动生成releaseNotes

背景   最近在做一个项目,代码都已经托管到github上,准备走开源路线。 项目: 一个重大轮子: 基于mysql数据库binlog的增量订阅&消费    使用了github的issue tracker代码,本文记录一下如何使用github管理release not...

2013-02-19 18:19:19

阅读数 91

评论数 0

mysql TableMap id递增问题

背景    这两天在线上运行的mysql数据库同步,过个1,2天就爆了一次内存,所以dump了一下jvm内存信息分析了下,发觉就是tablemap对象的cache是一个罪魁祸首,2G的old区,平均被4个同步任务划分掉。      解释下,缓存tablemap的意义:    a.  in...

2013-02-06 16:19:00

阅读数 24

评论数 0

阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

   背景    早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&a...

2013-02-06 00:36:23

阅读数 175

评论数 0

Canal ClientExample

Canal介绍       基于mysql数据库binlog的增量订阅&消费   ClientExample 依赖配置:(目前暂未正式发布到mvn仓库,所以需要各位下载canal源码后手工执行下mvn clean install -Dmaven.test.ski...

2013-02-06 00:29:09

阅读数 60

评论数 0

Canal QuickStart

Canal介绍       基于mysql数据库binlog的增量订阅&消费   QuickStart 几点说明:(mysql初始化) a.  canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,并且配...

2013-02-06 00:28:47

阅读数 15

评论数 0

zookeeper OOM问题排查

背景 最近折腾的数据库同步项目中,大量使用了zookeeper(版本3.3.3),可以说是强依赖,但是最近频频出现zookeeper内存使用率达到100%,而且是GC不掉,直接导致整个系统挂起,伤不起阿   分析 因为大部分的情况都是无法GC回收,所以很大程度上怀疑出现memory lea...

2012-12-05 21:33:49

阅读数 35

评论数 0

zookeeper watcher使用注意点

背景  项目中使用了zookeeper进行的类似工作流引擎的工作流转,将一次工作请求拆分了4个节点(S/E/T/L)。S阶段做完后,通过zk的watcher触发下一个E节点进行处理,S和E可能为不同的jvm上,所以需要走一个分布式的消息进行通知。 思路 基于zookeeper做持久化watc...

2012-09-26 17:27:04

阅读数 40

评论数 0

apache oro使用注意细节(并发问题)

背景   距离上一篇文章已经有4个多月了,这4个多月一直在忙着做一个数据库同步产品的代码研发和测试,现在基本运行稳定。 本文主要介绍一下,当时使用apache oro包进行正则过滤时,使用时出现的一个并发问题,排查了好几天才找到原因。希望大家使用时引以为戒,望周知。   过程 简单的描述下...

2012-09-21 11:43:49

阅读数 28

评论数 0

异步并行加载使用说明(asyncload)

背景  最近资讯asyncload使用的同学越来越多,会有些一些经常性的问题,这里我做一下整理和answer,同时介绍一下asyncload的UserGuide 和一些限制等。   关于asyncload,又名异步并行加载 ,可参见我之前的文章: (业务层)异步并行加载技术分析和设计 U...

2012-04-28 16:43:29

阅读数 98

评论数 0

BeanMapping发布1.0.2版本

背景   BeanMapping是什么? 请查看我之前的一篇文章:  我也造了个轮子:BeanMapping(属性拷贝)  版本变更内容   convetor包名重构,拼写错误   ScriptExecutor接口重构,加上ScriptContext操作   FiledSetExecu...

2012-04-06 16:10:41

阅读数 42

评论数 0

mysql number类型引号问题

背景  这几天在做数据自动化同步测试过程,发现一个诡异的现象。一批100条语句的更新过程中,同步到目标库去执行,总会有几条记录出现更新失败。 原因 1. 查看了同步过程中的执行日志,也米有啥特别明显的问题,单就是update affect = 0 。 2. 问题的查找方式也是比较简单,针对...

2012-03-28 17:33:55

阅读数 117

评论数 0

java Date.getTime()返回负数异常情况分析

背景   在线上运行的一个数据库同步系统,突然在某一天发现了一条奇怪的数据。 出现了如下异常:   SQL state [99999]; error code [17361]; Year out of range.; nested exception is java.sql.SQLExcep...

2012-03-15 13:42:04

阅读数 249

评论数 0

BeanMapping发布1.0.1版本

背景   BeanMapping是什么? 请查看我之前的一篇文章:  我也造了个轮子:BeanMapping(属性拷贝)  现状   目前代码经过在一个实际项目中进行试用,该项目为公司的核心业务逻辑(产品页面数据),目前表现良好。      在原先的1.0.0版本基础上修复了几个bug,...

2012-01-31 14:48:06

阅读数 24

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭