vue.js 数据中台之数据汇聚整合,消除数据孤岛

简介:本课程会依次向大家介绍中台的诞生背景、数据中台的架构以及如何进行合理得技术选型,并结合一个通用的关系型数据库同步至HDFS的工具套件实现,带大家拓展了基于Spark的多源异构数据同步工具的设计思路。
第1章 中台的前世今生
本章中会依次向大家介绍,中台的系统架构是如何诞生的、各类型架构的特点和存在的问题、数据中台架构是如何解决这些问题的,以及中台的演进过程,帮助大家对中台有初步得了解。

1-1 课程介绍 (05:14)

1-2 中台的缘起 (08:09)

1-3 中台的演进 (04:21)

第2章 数据中台体系

在本章中,首先会从数据应用的角度带大家回顾数据中台的诞生过程;然后介绍一个成熟的数据中台应该具备的核心能力,并对数据中台的架构按照模块进行分解,介绍每个模块的功能,以及各自得技术选型。

2-1 数据应用的发展阶段 (06:25)

2-2 成熟的数据中台具备的能力 (05:17)

2-3 数据中台架构 (05:20)

2-4 数据中台技术选型 (05:50)

第3章 基于Spark的多源异构数据同步套件

本章中会依次介绍数据采集、汇聚的技术架构;一个成熟的数据同步套件的架构以及具备的功能,并带领大家实现一个具备完整功能的关系型数据库同步至HDFS的工具套件,拓展基于Spark的通用的数据同步套件的设计思路。

3-1 数据采集、汇聚的技术架构 (10:40)

3-2 构建异构数据源的同步套件 (05:29)

3-3 DataX数据同步案例 (15:30)

3-4 移植DataX的配置管理功能 (07:30)

3-5 配置管理的功能点代码演示 (09:32)

3-6 关系型数据库同步至HDFS的功能开发 (07:44)

3-7 同步流程抽象为三大模块 (06:04)

3-8 三大模块的整体架构实现 (11:02)

3-9 三大模块的具体功能实现 (10:29)

3-10 数据转换模块的插件化管理 (12:37)

3-11 基于Spark的数据同步套件设计思路 (04:33)

3-12 本章总结 (02:35)

源码免费下载地址:http://github.crmeb.net/u/defu

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值