实时数仓
文章平均质量分 96
大数据东哥(Aidon)
这个作者很懒,什么都没留下…
展开
-
Doris安装部署入门
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。原创 2023-07-30 00:44:40 · 4420 阅读 · 0 评论 -
Canal安装部署与测试
canal,译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份。本文主要包含Canal概述、Canal的安装部署和Canal与Kafka的集成测试及相关注意事项。一起动手实践吧!原创 2023-07-25 18:22:33 · 512 阅读 · 0 评论