source自定义
wyc_595998412
希望在今后5年实现以下目标:1、读最好的书 2、见最优秀的人 3、走一条属于自己的路。
展开
-
flume之source自定义offset(保证flume数据不丢失和一致性)
引入的maven依赖 <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.8.0</version> &l转载 2018-10-10 14:09:08 · 2991 阅读 · 0 评论 -
数仓基础
ods dw dm 的区别ODS应用场景 A. 在业务系统和数据仓库之间形成一个隔离层,ODS直接存放从各个业务系统抽取过来的数据,这些数据从结构和数据逻辑关系上和业务系统保持一致,降低了数据抽取的复杂性。它的存在可以避免数据仓库直接调用业务系统的数据。 B. 转移一部分业务系统细节查询的功能。因ODS存放的数据与业务系统相同,原来由业务系统产生的报表,现在可以从ODS中产生了。 C....翻译 2018-12-06 20:58:24 · 679 阅读 · 0 评论