- 博客(3)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 flume+kafka+storm
1. 需求将mysql增量变化的数据，实时的插入到postgresql数据库中，方法有多种实现，这里采用通过flume配置mysql的数据库源，然后flume采集到mysql的增量数据，作为kafka的生产者，然后进入kafka短暂存储，storm作为kafka的消费者，消费到kafka中的增量mysql数据，进行处理，插入到postgresql中。整个实验环境在HDP环境中，也可以自行搭建...
2019-02-22 02:17:58
1734
翻译 数据同步
1. 应用场景业务数据发展到一定水平，需要将大部分冷热数据从熟悉的DB迁移到其他存储进行复杂查询和分析分库分表后，某些报表类查询无法工作，需要汇总到单库表进行操作分库分表有多个维度，需要拷贝多份数据达成冗余通过伪数据共享（没办法引入MQ、无法共享库表）进行业务改造慢存储–>Cache之间的同步不停服数据迁移/scheme变更导数据导数据很多时候，DataBus提供的仅仅...
2019-02-22 01:50:04
1462
原创 debezium
1. 简介官网地址：https://debezium.io/docs/Debezium是一个开源项目，为捕获数据更改(Capture Data Change，CDC)提供了一个低延迟的流式处理平台，通过安装配置Debezium监控数据库，可以实时消费行级别(row-level)的更改。身为一个分布式系统，Debezium也拥有良好的容错性。Debezium的源端(即支持监控哪些数据...
2019-02-22 01:11:51
4605
flume+kafka+sparkstreaming
2019-02-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人