实时数据平台部署
文章平均质量分 94
Jarvis数据之路
这个作者很懒,什么都没留下…
展开
-
Canal教程
Canal介绍简介基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger(触发器) 获取增量变更从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务,基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理当前的原创 2021-04-02 12:19:17 · 625 阅读 · 0 评论 -
maxwell + kafka + bireme传统数仓实时同步方案
文章目录1. mysql(maridb) 开启binlog1.2 创始用户及表2. maxwell2.1 输入到控制台2.2 输出到kafak2.2.1 kafak-topic2.2.2 配置3. bireme1. mysql(maridb) 开启binlogSHOW VARIABLES LIKE '%log_bin%';+---------------+-------+| Variable_name | Value |+---------------+-------+| log_bin原创 2021-03-24 21:58:36 · 791 阅读 · 0 评论 -
Flink部署及集群(高可用)
文章目录Flink部署1、下载2、解压3、启动Flink3、开放端口80814、访问ui界面5、测试6、ui界面信息Flink集群配置1、资源分配:2、配置flink-conf.yaml文件3、配置masters文件4、配置slaves文件5、开放8899端口6、启动测试Flink实现JobManager High Availability (HA)修改配置文件启动 flink测试高可用是否生效问题集1、启动Flink报错:Flink部署1、下载官网下载地址:http://flink.apache.o原创 2020-09-25 12:31:09 · 1895 阅读 · 0 评论