文章目录
MaxCompute简介:
ODPS概念:
大数据计算服务是一种快速,完全托管TB/PB级数据仓库解决方案。
MaxCompute作用:
- 批量结构化数据的存储和计算
- 提供海量数据仓库和大数据分析建模解决方案
MaxCompute功能组成:
MaxCompute组件:
【数据通道】:
- Tunnel:
提供高并发的离线数据上传下载服务
用户可以使用Tunnel服务向MaxCompute批量上传或下载数据。
【计算及分析任务】:
- SQL:
MaxCompute以表的形式存储数据,并对外提供SQL查询
PS: MaxCompute SQL 不支持事务,索引及Update/Delete 等操作
- MapReduce:
Google 提出的分布式数据处理模型
MaxCompute MapReduce 为 用户提供 Java 编程接口。
- Graph:
MaxCompute 提供的 Graph 功能是一套面向迭代的图计算处理框架。
图计算作业 使用图进行建模,图由点(Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终求解出结果。
**典型应用:**PageRank,单源最短距离算法 ,K-均值聚类算法 等等。
MaxCompute基本概念:
项目空间:
Pro