h2o.ai源码解析(3)—CPU管理

最新推荐文章于 2022-06-30 13:37:26 发布
最新推荐文章于 2022-06-30 13:37:26 发布
阅读量1k 收藏 1
点赞数 2
分类专栏： 大数据 文章标签： h2o cpu 源码 任务调度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangchen2449/article/details/78460280
版权
本文详细解析h2o.ai的CPU管理，重点介绍了扩展自jsr166y的ForkJoin框架，包括优先级线程(FJWThr)、线程池(PrioritizedForkJoinPool)以及MRTask的优先级调度。通过ForkJoinTask的fork和join操作实现并行计算，并通过H2OCountedCompleter确保高优先级任务的抢占执行。此外，还讨论了分布式任务的拆分执行机制。
摘要由CSDN通过智能技术生成

1. 前言

本系列中的第一篇中给出了h2o.ai的整体介绍。其整体架构如下：
这里写图片描述
在上图中核心基础设施(Core infrastructure)主要包含内存管理（基础数据结构）和CPU管理（任务调度）两部分。本篇先介绍任务调度部分

2. CPU管理

h2o/h2o-3项目的cpu管理的源码主要集中在h2o-core模块中，其中完全引入了jsr166y的源码（java7之后引入的支持Fork/Join框架多核并行计算库）。
这里写图片描述

以便在此基础上修改并扩展了MRTask和Job，从而支持

最低0.47元/天 解锁文章
晨丢丢
关注
专栏目录
机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总
ZhangPY的专栏
02-28 6686
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最
黑鹰远控之H2O完整源代码
05-22
黑鹰远控之H2O完整源代码,包括收费系统，非常实用
cpu源代码分析
03-16
cpu流水线设计，verilog程序，并带有时序和布线
最详细的Intel CPU体系结构分析(内核源码)
weixin_39911617的博客
06-30 510
本文主要关注以下几个问题。几乎所有的冯·诺伊曼型计算机的CPU，其工作都可以分为 5 个阶段：取指令、指令译码、执行指令、访存取数、结果写回。取指令（Instruction Fetch，IF）阶段是将一条指令从主存中取到指令寄存器的过程。 程序计数器 PC 中的数值，用来指示当前指令在主存中的位置。当一条指令被取出后，PC 中的数值将根据指令字长度而自动递增：若为单字长指令，则(PC)+1->PC；若为双字长指令，则(PC)+2->PC，依此类推。取出指令后，计算机立即进入指令译码（Instruction
OR1200开源CPU源代码分析
08-27
本人整理了一些别人写的OR1200开源CPU源代码分析，希望对大家学习微处理器有帮助，也希望交到一些喜欢微处理器设计的朋友！
黑鹰远控之H2O完整源代码.rar
01-16
黑鹰远控之H2O完整源代码.rar黑鹰远控之H2O完整源代码.rar黑鹰远控之H2O完整源代码.rar黑鹰远控之H2O完整源代码.rar黑鹰远控之H2O完整源代码.rar
玩转人工智能（11）使用Pyspark上手机器学习
MOSCAR的专栏
06-03 786
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
my面试
tangpeng95的博客
04-03 1958
这里写自定义目录标题1.集合一.List和Set1.常用的ArrayList，LinkedList，TreeSet，HashSet。二.Map2.线程一.线程的创建3种方式死锁多线程三大特性volatile3.线程池1.线程池的作用及原理==2.常见四种线程池==4.JVM==1.JVM组成====2.类加载器子系统执行过程====3.双亲委派机制====4.运行时数据区====5.堆区域是怎么划...
h2o:h2o平台上的示例笔记本
03-27
水 h2o平台上的示例笔记本
v32.03 鸿蒙内核源码分析(CPU) | 整个内核是一个死循环 | 祝新的一年牛气冲天 !
鸿蒙研究站 | 每天死磕一点点 | 由内核源码切入挖透OpenHarmony技术栈
02-10 815
百万汉字注解 >> 精读内核源码,中文注解分析, 深挖地基工程,大脑永久记忆,四大码仓每日同步更新< Gitee | Github | CSDN | Coding > 百篇博客分析 >> 故事说内核,问答式导读,生活式比喻,表格化说明,图形化展示,多站点每日同步更新< OSCHINA | CSDN | WeHarmony > 本篇说清楚CPU 读本篇之前建议先读鸿蒙内核源码分析(总目录)进程/线程篇. cpu是负责执行指令的,谁能给它指令?是线程(也叫任务
h2o.ai源码解析(2)—启动流程
Alice
11-03 2111
上一篇中已经给出h2o.ai的整体介绍以及其核心项目h2o.ai/h2o-3的源码目录，本篇给出h2o启动流程的源码分析。启动过程的时序图如下： 下面挑选时序图中的关键接口进行详细功能介绍：1. 【步骤3】 registerCoreExtensions()加载扩展类 利用Java ServiceLoader的原理加载当前项目目录中所有/resources/META-INF/目录下wate
h2o.ai源码解析(1)—项目简介
Alice
11-02 6378
h2o.ai项目简介参考h2o.ai官网中给出的项目定位是“open source platform for AI”。相较于当前市面上的机器学习平台，h2o.ai的优势在于： - 上乘的开源技术：h2o.ai是基于Java的开源项目，并可以无缝对接Apache hadoop，Spark等优秀的开源项目，为使用者在面临各种数据分析挑战时提供了多种灵活的解决方案 - 直观方便使用的WebUI以及
H2O学习笔记（一）—— H2O概述
热门推荐
Yaphat的博客
10-22 1万+
H2O框架简介H2O是开源的，分布式的，基于内存的，可扩展的机器学习和预测分析框架，适合在企业环境中构建大规模机器学习模型。H2O核心代码使用Java编写，数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现，并使用了Java Fork/Join框架来实现多线程。H2O目前支持的机器学习算法有DRF,GBM,GLM,GLRM,Kmeans
h2o flow cluster启动
大鱼的博客
08-20 804
假如我有两台机器，拟进行集群启动，启动方式很简单，我是在linux上进行启动的。 （1）首先需要新建一个文件，随便你怎么命名，我是命名为flatfile.txt，在文件添加ip root@node11 h2o-3.26.0.2]# cat flatfile.txt node11:54321 node12:54321 （2）将文件拷贝到第二台机器上 scp flatfile.txt ...
H2O.ai初步使用
weixin_30852419的博客
05-29 1089
1.官网下载最新稳定版，https://www.h2o.ai/download/，如果点击下载无反应，请使用ie浏览器 2.解压h2o-3.18.0.10.zip到目录h2o-3.18.0.10 3.执行命令 cd h2o-3.18.0.10 java -jar h2o.jar -name clusterName 选项参考http://docs.h2o.ai/h2o/late...
H2O框架简介(转载)
lanyu_sola的博客
05-05 4989
H2O框架简介 H2O是开源的，分布式的，基于内存的，可扩展的机器学习和预测分析框架，适合在企业环境中构建大规模机器学习模型。 H2O核心代码使用Java编写，数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现，并使用了Java Fork/Join框架来实现多线程。 H2O目前支持的机器学习算法有DRF,GBM,GL
使用H2O进行集成学习
Jie Qiao的专栏
03-02 5980
使用H2O进行集成学习介绍集成学习就是组合多个机器学习算法，从而得到更好的预测性能。许多流行的现代机器学习算法实际上就是集成。比如说随机森林 和 Gradient Boosting Machine (GBM)都是2个集成学习器。Bagging（例如随机森林）和boosting（例如GBM）是集成方法，其采用一系列弱学习器（例如，决策树）来得到单个，强大的集成学习器。H2O的Stacked集成算法是有
R语言h2o.grid函数的参数有哪些
最新发布
04-14
h2o.grid函数的参数包括： 1. grid_id：网格搜索的 ID 2. hyper_params：需要进行调试的超参数字典 3. distribution：数据分布，默认值为 "gaussian" 4. grid_search_criteria：网格搜索的类型，默认值为 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值