![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实时数仓
额滴神啊-$
这个作者很懒,什么都没留下…
展开
-
课堂笔记
实时数仓Day04昨日回顾维度数据同步:离线同步维度数据到Redis.实时同步维度数据到Redis.数据过滤进行数据落地:判断MySQL中的操作: 增加/修改/删除.执行的时候,不要忘记在APP主程序中调用ETL程序.点击流数据处理LogParser日志解析工具: 帮助我们快速的从日志数据中获取我们需要的字段信息.使用方式:定义一个封装数据的实体类.实体类里面必须提供对成员变量设置值的set方法.Parser<实体类型> parser = new Http原创 2020-06-07 10:32:09 · 339 阅读 · 0 评论 -
课堂笔记
实时数仓Day03共性问题引入fastjson的时候提示类找不到,一般我们开发的时候提示类找不到,或者方法找不到等问题都是因为Jar冲突之类的问题.可以尝试以下解决方式:重新build一下工程.clean一下工程.尝试重新引入依赖.注意新引入的依赖要放在最后面,防止被覆盖掉.<dependencies> <dependency> <groupId>cn.itcast</groupId>原创 2020-06-07 10:31:37 · 242 阅读 · 0 评论 -
课堂笔记
实时数仓Day02课堂笔记昨日回顾了解实时数仓的整体背景/涉及技术/业务主线实时数仓的整体架构图.使用Canal采集MySQL中的数据变更信息.使用Java开发Canal客户端.ProtoBuf序列化编写Protobuf配置文件对protobuf进行编译.使用Protobuf创建的类来封装消息将消息转换为字节数组使用字节数组转换为对象Canal原理.依赖于MySQL的主从复制功能.一个服务端里面可以有多个实例,每个实例中都有自己的EventParser/EventSink/E原创 2020-06-04 23:52:58 · 405 阅读 · 0 评论