大数据之实时数仓构建
MrZhangBaby
世界上并没有完美的程序,
但我们并不因此而沮丧,
因为写程序本来就是一个不断追求完美的过程。
你可以不够优秀,但不要甘于平凡。
展开
-
谈笑间学会数仓-技术架构设计
谈笑间学会-数仓技术架构设计1、前言为何要谈数据仓库技术架构设计呢?技术架构设计是建设数仓的必备因素之一,分层架构为我们捋清了数据的架构及分层规范,并没有真正落地到具体的实施?有人说技术架构有什么好设计的?直接开整呗?事实上并不是如此,成功始于计划,终于变化~总而言之,言而总之,数仓设计是需要有技术方案来落地的。那么主要包含哪些呢?离线、实时、离线+实时呗2、离线技术架构首先我们来看一波架构图吧小结离线技术架构无非包括以下几块内容的技术选型数据采集:data原创 2020-08-10 16:19:36 · 611 阅读 · 2 评论 -
大数据实时监控mysql数据库binlog(一)
MySQL之binlog参考连接:https://www.cnblogs.com/xhyan/p/6530861.html、https://www.cnblogs.com/martinzhang/p/3454358.html1>> MySQL Binlog详解Mysql的binlog日志作用是用来记录mysql内部增删改查等对mysql数据库有更新的内容的记录(对数据库的改...原创 2019-02-18 18:13:59 · 6011 阅读 · 2 评论 -
大数据实时监控mysql数据库binlog(二)
大数据监控binlog组件之maxwell组件:Maxwell是什么玩意?下面我给大家简单介绍一下,并和canal做一个简单的对比: Maxwell:(Zendesk公司)--(服务端+客户端)官方地址:http://maxwells-daemon.io/Github地址:https://github.com/zendesk/maxwell具体实践Demo:ht...原创 2019-02-18 18:25:51 · 1649 阅读 · 0 评论