阿里云的MaxCompute数加(原ODPS)用的怎样?

1447 篇文章 12 订阅
1447 篇文章 7 订阅

最底层是Linux+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统在生产环境支持调度5000台机器的集群。

飞天比较有意思的是模块的名字,都是从中国传统的神话中选择,比如分布式存储模块叫盘古,调度叫伏羲。

站在hadoop的角度看,飞天提供的功能和hadoop是类似的,在yarn之前,hadoop主要的编程模型是MapReduce,飞天的编程模型是一个有向无环图,而且除了支持批处理任务以外还支持常驻的Service。实现的细节上当然完全不同,首先实现的编程语言飞天就选择了C++。其他像安全、运维体系都有很大区别。

ODPS是在飞天之上提供的一套服务,功能包括SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层API隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

对于未来交通行业产生的影响不具备足够的知识回答,我想大概可以从大规模数据处理能力对交通运输行业的影响这个角度考虑。在加上ODPS方便了大规模数据处理能力获取这个角度。

利益相关:阿里员工,前ODPS团队成员

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值