阿里巴巴大数据系统体系架构

数据应用层:这是最顶层,面向不同的用户群体提供服务,包括对内(公司内部使用)、对平台(平台用户)、对商家(商家使用)、对公众(普通消费者)。

数据服务与基础工具层:这一层提供了一些基础服务和工具,例如:

OneService:可能是一种服务或工具,用于统一数据服务。

TDDL+MySQL:TDDL是淘宝分布式数据层的缩写,与MySQL结合使用,提供数据库服务。

HBase:一个分布式列存储系统,适合于存储大量稀疏数据。

AnalyticDB:分析型数据库,用于处理和分析大数据。

MaxCompute:一个大规模数据计算服务。

数据服务层:这一层主要负责数据的输出和处理,包括:

实时计算离线计算:分别处理实时和非实时的数据计算任务。

ADS(应用数据):应用数据服务,可能是指为应用程序提供数据的服务。

DWS(公共汇总):数据仓库服务,用于数据的汇总和分析。

数据管理:涉及到数据的输入和建设体系,例如:

OneData:统一的数据输入,可能是数据建设体系的一部分。

DWD(公共明组):数据仓库明细层,存储详细的数据。

数据开发平台:提供数据开发的工具和环境,例如:

ODS(操作数据存储):操作型数据库,存储操作数据。

D2/SQLSCAN/DQC/在彼岸:可能是数据查询、质量控制等工具。

数据计算层:涉及到数据的计算和同步,包括:

直连同步:直接连接数据库进行数据同步。

消息订阅:通过消息系统订阅数据更新。

数据库同步工具(离线):用于离线数据同步的工具。

消息中间件(离线/实时):处理消息的中间件,支持离线和实时数据。

数据采集层:负责收集数据,包括:

DataX/同步中心:数据同步工具。

TimeTunnel:可能是一个时间隧道技术,用于数据的时序处理。

日志文件:存储日志数据的文件。

Aplus.JS/UserTrack:可能是用于前端或用户行为跟踪的JavaScript库。

日志采集技术:用于收集和处理日志数据的技术。

数据库:存储和管理数据的系统。

  • 4
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大连赵哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值