【阿里云】2.1.大数据计算服务-基础知识

基础知识

maxcomputer简介

由阿里云自主研发，提供针对PB/TB级数据，实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。

特点

• 分布式：分布式集群架构，跨集群技术突破，理货扩展
• 安全：自动存储容错机制，所有计算过沙箱中进行
• 易用：全面支持SQL，标准API接口，高并发高吞吐量的数据上传下载
• 管理授权：支持多用户系统管理，多种用户授权

优势

• 大规模计算存储
• 多种计算模型
• 强数据安全
• 低成本

主要功能

• 数据通道
• 计算分析
• 开发SDK
• 安全服务

应用场景

• 数据仓库/商业智能
• 分布式大数据应用
• 大数据数据分析
• 机器学习/人工智能

maxcomputer架构

架构图

客户端

接入层

逻辑层

• 请求处理器
  处理所有RESTful请求
  本地处理一些作业
  提交分布式作业给处理器

• 调度器
  负责instance调度
  查询计算集群的资源情况

• 作业执行器
  向taskpool请求task
  生成任务描述文件提交给计算层
  监控并返回状态给调度器

计算层

maxcompute基本概念

maxcomputer使用

常见操作

客户端安装

环境配置：

运行：

简单操作：

java+eclipse：

IEDA:

总结