h2o.ai源码解析(3)—CPU管理

本文详细解析h2o.ai的CPU管理,重点介绍了扩展自jsr166y的ForkJoin框架,包括优先级线程(FJWThr)、线程池(PrioritizedForkJoinPool)以及MRTask的优先级调度。通过ForkJoinTask的fork和join操作实现并行计算,并通过H2OCountedCompleter确保高优先级任务的抢占执行。此外,还讨论了分布式任务的拆分执行机制。
摘要由CSDN通过智能技术生成

1. 前言

本系列中的第一篇中给出了h2o.ai的整体介绍。其整体架构如下:
这里写图片描述
在上图中核心基础设施(Core infrastructure)主要包含内存管理(基础数据结构)和CPU管理(任务调度)两部分。本篇先介绍任务调度部分

2. CPU管理

h2o/h2o-3项目的cpu管理的源码主要集中在h2o-core模块中,其中完全引入了jsr166y的源码(java7之后引入的支持Fork/Join框架多核并行计算库)。
这里写图片描述

以便在此基础上修改并扩展了MRTask和Job,从而支持

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值