duckula
介绍binglog监听中间件duckula
偏锋书生
day day up
展开
-
亿级订单同步
“你最近一段时间把我们的***页面查询优化一下”,刚入职的我接到领导这了这个任务,做为IT老鸟,这应该是So easy的,心想,该我表现的时候了,百分百没建索引,或是建了不合理的索引导致没有用上索引,这东西应该不要“一段”时间吧?当我信心满满地找熟悉这块的开发人员了解情况时,顿时当头暴击啊,我们用的是mysql数据库,先select count(id) 来一下,苦苦等等了近5分钟,给我...原创 2020-01-15 22:09:23 · 379 阅读 · 0 评论 -
duckula之三(duckula对es的join类型的支持)
前言 互联网体系架构具有可控性差、 数据量大、 架构复杂等特点,错综复杂的各业务模块需要解耦,各异构数据需要同步,双活/多活的容灾方案需要高实时性 等,在各种场合都需要一套可靠的数据实时推送方案。mysql已成为互联网项目存储的主力,围绕着它的各外围模块急需实时地获取它的数据,binlog监听是解决此实时同步问题的不二之选。使用场景 duckula可以做到mysql到ES的增量和全量的同...原创 2019-12-29 19:42:43 · 578 阅读 · 0 评论 -
duckula之二(Ops-Server模式安装)
介绍 分布式binlog监听中间件duckula能像吸血鬼一样从各mysql实例中得到变化的数据,又能自动复活(HA).支持插件化数据接收者和序列化.非常灵 活.,可在自定义接收者,项目内置了kafka和redis接收者,也可以自定义序列化格式,项目也内置了protobuf2/protobuf3序列化.通过插件的形式嵌入到 duckula. 具有丰富的界面操作,可以通过页面操作进行任务的创建,...原创 2019-12-29 19:34:04 · 576 阅读 · 0 评论 -
duckula之一(k8s版本安装)
介绍 分布式binlog监听中间件duckula能像吸血鬼一样从各mysql实例中得到变化的数据,又能自动复活(HA).支持插件化数据接收者和序列化.非常灵 活.,可在自定义接收者,项目内置了kafka和redis接收者,也可以自定义序列化格式,项目也内置了protobuf2/protobuf3序列化.通过插件的形式嵌入到 duckula. 具有丰富的界面操作,可以通过页面操作进行任务的创建,...原创 2019-12-29 18:31:43 · 611 阅读 · 0 评论 -
duckula介绍
分布式binlog监听中间件duckula能像吸血鬼一样从各mysql实例中得到变化的数据,又能自动复活(HA).支持插件化数据接收者和序列化.非常灵 活.,可在自定义接收者,项目内置了kafka和redis接收者,也可以自定义序列化格式,项目也内置了protobuf2/protobuf3序列化.通过插件的形式嵌入到 duckula. 具有丰富的界面操作,可以通过页面操作进行任务的创建,任务的启动与停止.合适的调度策略,当某个task由于某种原因"自杀"后,系统会自动 选择其它占用资源较少的服务器来运行此t原创 2019-10-23 22:58:17 · 1862 阅读 · 0 评论 -
通过代码自由操作kubernetes
在kubernetes成为容器服务编排方案“标准”的今天,谈自动化运维就不能离开k8s,现在操作k8s有多种方式,集群外面k8s client通过kubeconfig配置文件连接k8s集群,通过k8s 暴露的apiserver服务操作k8s。通过暴露helm的服务service/tiller-deploy来操作k8s 等。k8s client和helm Client对于手工部署确实方便,但当应用程序量大的时候,通过手工来部署显然不够。通过apiserver的restfull形式的api来部署我们的应用确实可原创 2019-09-17 21:51:31 · 593 阅读 · 11 评论