大数据日知录
文章平均质量分 92
aq7218
这个作者很懒,什么都没留下…
展开
-
集群资源管理与调度
资源管理方式静态资源划分:将几圈中的所有资源做出静态划分,将划分后的固定的硬件资源指定给固定的计算框架使用,各框架之间各行其是,互不干扰。 缺点:资源整体利用率不高,经常会出现集群中有些计算系统资源不足,但是有些计算系统存在大量闲置资源的情形。独立资源管理:在集群硬件层上抽象出一个功能独立的集群资源管理系统,将所有可用资源当成一个整体来进行管理,并对其他所有计算任务提供统一的资源管理与调度框架原创 2016-08-27 21:59:08 · 9649 阅读 · 0 评论 -
大规模批处理系统
MapReduce计算模型与架构计算模型 MapReduce提供了简洁的编程接口,输入时Key/Value数据。时,输出也是Key/Value数据。应用开发者只需要根据业务逻辑实现Map和Reduce接口,即可完成大规模数据的并行处理任务。MapReduce计算框架会自动将中间结果中具有相同Key值得记录聚合在一起,并将数据传送给Reduce函数内定义好的处理逻辑作为其输入值。Reduce函原创 2016-08-18 16:35:13 · 1563 阅读 · 0 评论 -
数据分片与路由
数据抽象原创 2016-08-29 20:33:44 · 475 阅读 · 0 评论