尚硅谷实时数据仓库项目(阿里云实时数仓)

莫等闲白了少年头

已于 2022-06-21 15:57:05 修改

阅读量1k

点赞数

分类专栏：笔记文章标签： java

于 2022-06-21 13:09:53 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_44229645/article/details/125388946

版权

笔记专栏收录该内容

68 篇文章 2 订阅

订阅专栏

p01项目简介

在这里插入图片描述

p02 项目需求分析

在这里插入图片描述

p03 阿里云技术框架

在这里插入图片描述

p04 技术选型

在这里插入图片描述

P05系统架构设计

在这里插入图片描述

p06 业务流程

在这里插入图片描述

p07 电商表结构

在这里插入图片描述

p08 rds购买

在这里插入图片描述

p09 rds配置及连接

设置白名单

在这里插入图片描述

申请外网地址

在这里插入图片描述

创建账号

在这里插入图片描述

p10 创建业务数据库及表

在这里插入图片描述
执行sql脚本

p11 创建DataHub及Project

在这里插入图片描述

创建dataHub

在这里插入图片描述

可以创建topic,这里不用创建,我们直接使用DTS同步数据,会自动创建topic

p12 同步事实表到datahub

在这里插入图片描述

进入,得先配置同步链路

同步设置

下一步

RDS中准备数据,datahub中也会有数据了

p13 同步维表到mysql

在这里插入图片描述
创建维表库

在这里插入图片描述
继续使用DTS同步

从rds同步到另一个rds

开通之后有2个实例了

同步链路设置,这里是测试所以是同一台实例服务器,实际工作为2台

等待变为同步中,就可以了

视图,减少后续级联

创建了2个视图省份地区视图商品分类视图
在这里插入图片描述

p14 实时数仓分层

在这里插入图片描述

p15 创建集群和创建项目

在这里插入图片描述

创建项目

p16 创建工作空间及业务开发平台

创建工作空间dataworks
在这里插入图片描述

p17 建立任务及flinkSQL开发手册

在这里插入图片描述

可以使用组件拖拽,但是我们不使用这种方式,我们使用sql模式

帮助文档
数据源表是ods层,数据结果表是dwd层

在这里插入图片描述

p18 ODS到DWD层的业务流程

注意 1：由于数据都是 DTS 推送过来的，推送过来的字段都在原来的表字段前面加上
了一个 dts_前缀。
注意 2：dts_utc_timestamp、dts_operation_flag、dts_after_flag 是 DataHub 框架提供的字
段。dts_operation_flag=‘U’表示修改、 ‘I’表示插入、‘D’表示删除，dts_after_flag=‘Y’
注意 3：dts_order_status=1 表示下单，dts_order_status=2 表示已支付

order_info 数据源表
order_detail 数据源表
在这里插入图片描述
dwd_paid_order_detail 数据结果表

莫等闲白了少年头

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
尚硅谷实时数据仓库项目(阿里云实时数仓)

q
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。