大数据之路 读书笔记 Day1

大数据之路 读书笔记 Day1

阿里巴巴大数据系统体系架构图

1. 数据采集层

两大体系 WEB端:Aplus.js APP端:UserTrack
  • 传输:TimeTunnel(TT),支持实时流式计算时间窗口批量计算
  • 数据同步工具:DataX

2. 数据计算层

两大体系
数据存储及计算云平台
离线计算平台-Maxcompute
实时计算平台-Streamcompute
数据整合及管理体系Onedata
以天为单位,凌晨处理上一天数据
实时处理数据,双11
数据仓库
离线数据仓库
实时数据仓库
数据加工链路
数据加工链路
操作数据层,ODS
明细数据层,DWD
汇总数据层,DWS
应用数据层,ADS
  • 元数据模型整合,面向数据发现,数据管理,用于存储、计算和成本管理

3. 数据服务层

  • OneService

以数据仓库整合计算好的数据作为数据源,通过接口方式提供数据服务,提供简单复杂数据查询(用户画像,用户识别),实时数据推送等服务

4. 数据应用层

  • 搜索、推荐、广告等等

附图:
在这里插入图片描述


点赞关注收藏,获取更多干货知识~

  • 15
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Frank牛蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值