大数据
偏锋书生
day day up
展开
-
亿级订单同步
“你最近一段时间把我们的***页面查询优化一下”,刚入职的我接到领导这了这个任务,做为IT老鸟,这应该是So easy的,心想,该我表现的时候了,百分百没建索引,或是建了不合理的索引导致没有用上索引,这东西应该不要“一段”时间吧?当我信心满满地找熟悉这块的开发人员了解情况时,顿时当头暴击啊,我们用的是mysql数据库,先select count(id) 来一下,苦苦等等了近5分钟,给我...原创 2020-01-15 22:09:23 · 384 阅读 · 0 评论 -
duckula之三(duckula对es的join类型的支持)
前言 互联网体系架构具有可控性差、 数据量大、 架构复杂等特点,错综复杂的各业务模块需要解耦,各异构数据需要同步,双活/多活的容灾方案需要高实时性 等,在各种场合都需要一套可靠的数据实时推送方案。mysql已成为互联网项目存储的主力,围绕着它的各外围模块急需实时地获取它的数据,binlog监听是解决此实时同步问题的不二之选。使用场景 duckula可以做到mysql到ES的增量和全量的同...原创 2019-12-29 19:42:43 · 582 阅读 · 0 评论 -
duckula之二(Ops-Server模式安装)
介绍 分布式binlog监听中间件duckula能像吸血鬼一样从各mysql实例中得到变化的数据,又能自动复活(HA).支持插件化数据接收者和序列化.非常灵 活.,可在自定义接收者,项目内置了kafka和redis接收者,也可以自定义序列化格式,项目也内置了protobuf2/protobuf3序列化.通过插件的形式嵌入到 duckula. 具有丰富的界面操作,可以通过页面操作进行任务的创建,...原创 2019-12-29 19:34:04 · 579 阅读 · 0 评论 -
duckula之一(k8s版本安装)
介绍 分布式binlog监听中间件duckula能像吸血鬼一样从各mysql实例中得到变化的数据,又能自动复活(HA).支持插件化数据接收者和序列化.非常灵 活.,可在自定义接收者,项目内置了kafka和redis接收者,也可以自定义序列化格式,项目也内置了protobuf2/protobuf3序列化.通过插件的形式嵌入到 duckula. 具有丰富的界面操作,可以通过页面操作进行任务的创建,...原创 2019-12-29 18:31:43 · 620 阅读 · 0 评论 -
es插件平台
ES插件应用到ES很多地方,如:报警、分词、安全。。。。 但这些插件都是在技术层面的,业务层面肯定是缺失的,需要我们来补充1、跟据某个业务字段或是业务规则来打分,打分高的排前面2、跟据数据库字段来生成索引的mapping3、异构数据的同步索引,跟据规则处理异构数据4、跟据某些业务规则来触发告警5、更多。。。。。。。。。因此,我们很想自已来开发ES插件来满足业务需求,但ES插件在开发上确实不方便,如:权限严格、不支持热加载需要重启、对初学者不友好、版本升级(特别是大版本)后不向下兼容 等。所以我原创 2019-11-03 12:26:59 · 792 阅读 · 0 评论 -
Cassandra介绍
Cassandra在2008年7月被Facebook开源。Cassandra最初的版本主要是由亚马逊(Amazon)和微软(Microsoft)的一名前雇员编写的。它深受亚马逊首创的分布式key/value数据库Dynamo的影响。Cassandra实现了一个没有单点故障的动态复制模型,但是添加了一个更强大的列家族数据模型。下面我基于对它的理解说说它的一些概念。原创 2019-10-23 23:07:25 · 4355 阅读 · 0 评论