阿里ODPS架构与SQL过程

最新推荐文章于 2024-07-10 17:47:14 发布

gakkiSG

最新推荐文章于 2024-07-10 17:47:14 发布

阅读量7.7k

点赞数 1

文章标签：大数据ODPS

本文链接：https://blog.csdn.net/linkedin_36125466/article/details/57408375

版权

本文介绍了阿里ODPS的架构，包括客户端层、接入层、逻辑层和存储/计算层。客户端层提供了多种工具访问ODPS，接入层负责用户认证和请求转发，逻辑层包含SQL Planner、Worker、Scheduler、Executor和MetaStore，而存储/计算层则由盘古文件系统和OTS构成，用于数据存储和元数据管理。

摘要由CSDN通过智能技术生成

ODPS架构图

整个ODPS分为
1. 客户端层
本层体现为用户使用的客户端：java/python soft develop kits、command line interface、Integrated Development Environment、这些工具都是对底层REST API的封装，最后的操作都是在调用底层的API函数。用户通过这些工具实现对ODPS资源的ETL操作，以及对ODPS的状态、权限等事项的管控。
2. 接入层
本层体现为各种路由、交换机以及http servers。负责用户认证、将用户们发来的请求发送到服务器中。
a.先通过LVS负载均衡将用户请求转发到服务器集群上去。
b.再在服务器上将用户请求转发到云账户认证服务器做AccessId校验以及消息校验。验证通过后返回用户accountID信息给服务器集群，集群再将请求详细发给逻辑层。
3. 逻辑层
本层为ODPS分布式处理软件的各个模块。主要包括SQL Planner、Worker（请求处理器