Maxwell
文章平均质量分 95
自学大数据的菜鸡
这个作者很懒,什么都没留下…
展开
-
2.3离线数仓—增量表同步实现
业务数据采集模块—增量表数据同步实现前言一、增量表数据同步1.增量表数据通道二、MySQL—Maxwell—Kafka的实现1.Maxwell配置2.Maxwell—Kafka通道测试三、Kafka—Flume—HDFS实现1.Flume配置选取2.Flume配置关键点3.Flume配置具体实现4.通道测试5.说明四、优化总结1.增量表同步Flume启停脚本2.增量表首日同步3.增量表同步总结前言在确定了全量表使用DataX进行同步,增量表使用Maxwell进行同步,且学习了Maxwell相关使用方法之原创 2022-02-17 15:55:28 · 868 阅读 · 0 评论 -
电商数仓学习-Maxwell的使用
增量表同步工具Maxwell前言一、Maxwell简介1.Maxwell概述2.Maxwell输出数据的格式二、Maxwell1.MySQL二进制日志2.MySQL主从复制3.Maxwell原理三、Maxwell部署1.安装Maxwell2.配置MySQL1)启用MySQL Binlog2)创建Maxwell所需数据库和用户3)配置Maxwell四.Maxwell使用1.启动Kafka集群2.Maxwell启动停止3.Maxwell历史数据全量同步1)Maxwell-bootstrap2)bootstrap原创 2022-02-16 20:17:23 · 1755 阅读 · 0 评论