distributed
文章平均质量分 93
iteye_7245
这个作者很懒,什么都没留下…
展开
-
S4分布式流计算引擎
背景 最近花了点时间研究了下分布式计算这一块的内容。领导给的第一个任务,就是学习下S4和GridGain。花了几天的时间把s4的源码看了下,把自己的理解和学习的内容做一个记录。 下一篇会是GridGain的分享学习s4的论文: S4: Distributed Stream Computing Platform s4的官网: http://s4.io/ s4是什么?1....原创 2011-06-20 18:11:13 · 402 阅读 · 0 评论 -
Canal AdminGuide
背景 先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下如何部署&使用 环境要求1. 操作系统 a. 纯java开发,windows/linux均可支持 b. jdk建议使用1.6.25以上的版本,稳定可靠,目前阿里巴巴使用基本为此版本. 2. ...原创 2013-03-19 19:43:52 · 732 阅读 · 0 评论 -
阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。ps. 目前内部使用的同步,已经支持mysql5.x和oracle部分...2013-02-06 00:36:23 · 1482 阅读 · 0 评论 -
Canal ClientExample
Canal介绍 基于mysql数据库binlog的增量订阅&消费 ClientExample依赖配置:(目前暂未正式发布到mvn仓库,所以需要各位下载canal源码后手工执行下mvn clean install -Dmaven.test.skip)<dependency> <groupId>com.alibaba.otte...原创 2013-02-06 00:29:09 · 529 阅读 · 0 评论 -
Canal QuickStart
Canal介绍 基于mysql数据库binlog的增量订阅&消费 QuickStart几点说明:(mysql初始化)a. canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,并且配置binlog模式为row. [mysqld]log-bin=mysql-bin #添加这一行就okbin...原创 2013-02-06 00:28:47 · 167 阅读 · 0 评论 -
阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具
背景 08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步. 项目介绍名称: yugon...原创 2016-03-05 18:29:59 · 677 阅读 · 0 评论 -
zookeeper OOM问题排查
背景最近折腾的数据库同步项目中,大量使用了zookeeper(版本3.3.3),可以说是强依赖,但是最近频频出现zookeeper内存使用率达到100%,而且是GC不掉,直接导致整个系统挂起,伤不起阿 分析因为大部分的情况都是无法GC回收,所以很大程度上怀疑出现memory leak。设置了jvm参数,收集了一下OOM导致jvm crash之后的日志文件进行分析 -XX...2012-12-05 21:33:49 · 1179 阅读 · 0 评论 -
阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)
项目背景 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。 otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求...2013-08-22 16:48:06 · 753 阅读 · 0 评论 -
zookeeper watcher使用注意点
背景 项目中使用了zookeeper进行的类似工作流引擎的工作流转,将一次工作请求拆分了4个节点(S/E/T/L)。S阶段做完后,通过zk的watcher触发下一个E节点进行处理,S和E可能为不同的jvm上,所以需要走一个分布式的消息进行通知。思路基于zookeeper做持久化watcher,项目中直接使用zookeeper官方api,大致的工作模型: private sync...2012-09-26 17:27:04 · 442 阅读 · 0 评论 -
zookeeper学习&使用系列文章
近段时间,因项目需要接触了下zookeeper,通过阅读源码以及项目中的使用总结,慢慢的积累了zookeeper的一系列的学习总结。希望对大家使用zookeeper有所帮助,同时如有描述欠佳的地方尽情拍砖。zookeeper是什么? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名...2011-12-05 19:33:06 · 119 阅读 · 0 评论 -
zookeeper学习记录三(session,watcher,persit机制)
背景继续前面的zookeeper学习的专题,这次主要是结合项目中遇到的一些问题,进一步学习了下zookeeper的一些内部机制。 针对以下几个问题:1. zk是否可以保证watcher事件不丢失?2. zk的EPHEMERAL节点的自动过期时间? 3. zk的如何保证节点数据不丢失? 如果你已经非常清楚这以上的几个问题,看官们可以不用往下看了。 persit机制...2011-12-05 19:02:53 · 232 阅读 · 0 评论 -
基于zookeeper的分布式lock实现
背景 继续上一篇文章:http://agapple.iteye.com/blog/1183972 ,项目中需要对分布式任务进行调度,那对应的分布式lock实现在所难免。 这一周,在基于BooleanMutex的基础上,实现了zookeeper的分布式锁,用于控制多进程+多线程的lock控制 算法可以预先看一下zookeeper的官方文档: http://zoo...2011-09-30 17:00:15 · 313 阅读 · 0 评论 -
zookeeper项目使用几点小结
背景 前段时间学习了zookeeper后,在新的项目中刚好派上了用场,我在项目中主要负责分布式任务调度模块的开发,对我自己来说是个不小的挑战。 分布式的任务调度,技术上我们选择了zookeeper,具体的整个分布式任务调度的架构选择会另起一篇文章进行介绍。 本文主要是介绍自己在项目中zookeeper的一些扩展使用,希望可以对大家有所帮助。 项目中使用的zookeep...2011-09-30 15:55:21 · 390 阅读 · 0 评论 -
zookeeper学习记录(二)
背景继上一篇的zookeeper的学习,上一篇主要偏向于zookeeper的总体结构的熟悉和使用层面。 本文主要是记录自己学习其内部的选举算法,一致性处理策略。过程在开始之前,推荐几篇比较不错的文章:http://rdc.taobao.com/blog/cs/?p=162 (选举算法)http://rdc.taobao.com/team/jm/archives/44...2011-07-01 10:06:54 · 142 阅读 · 0 评论 -
zookeeper学习记录
背景 前段时间看了S4流计算引擎,里面使用到了zookeeper进行集群管理,所以也就花了点时间研究了下zookeeper,不求看懂所有源码,但求了解其实现机制和原理,清楚其基本使用。这也是为后续hadoop,gridgain的分布式计算的产品。学习首先就是收集一些前人的一些学习资料和总结内容,方便自己快速入门。 这里罗列了几篇不错的文章: http://www...2011-06-30 17:45:46 · 273 阅读 · 0 评论 -
canal DevGuide
背景 先前开源了一个开源项目: 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下如何给canal贡献代码,介绍其设计思路和扩展方式 设计 说明:server代表一个canal运行实例,对应于一个jvminstance对应于一个数据队列 (1个server对应1..n个instance)instan...2013-04-01 23:33:18 · 169 阅读 · 0 评论