创建DAGSchedulerSource和BlockManagerSource

最新推荐文章于 2019-09-30 21:18:46 发布
最新推荐文章于 2019-09-30 21:18:46 发布
阅读量224 收藏
点赞数
分类专栏： # spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuxintdrh/article/details/89288645
版权

在创建DAGSchedulerSource、BlockManagerSource之前首先调用taskScheduler的postStartHook方法，其目的是为了等待backend就绪

        // Post init
        _taskScheduler.postStartHook()

创建DAGSchedulerSource和BlockManagerSource的过程类似于ExecutorSource，只不过DAGSchedulerSource测量的信息是stage. failedStages、stage. runningStages、stage. waitingStages、stage. allJobs、stage. activeJobs，BlockManagerSource测量的信息是memory. maxMem_MB、memory. remainingMem_MB、memory. memUsed_MB、memory. diskSpaceUsed_MB。

        //向metricsSystem 注册Source
        _env.metricsSystem.registerSource(_dagScheduler.metricsSource)
        _env.metricsSystem.registerSource(new BlockManagerSource(_env.blockManager))
宝哥大数据
关注
专栏目录
Spark源码走读9——Metrics
weixin_30825199的博客
02-01 166
Spark的监测系统。 配置文件在目录~/spark-1.1.0-bin-hadoop2.4/conf/metrics.properties.template下。 这个配置文件是主要针对Spark内部组件监测的一个配置项。它可以配置一个或多个sinks。一下是metrics的一些基本属性概念 “instance”指定“who”（角色）使用的指标体系。配置的实例可以是"maste...
白话Spark——DAGScheduler，TaskScheduler，SchedulerBackend模块实现机制
Handoking的博客【学无止境】
07-19 3551
用最简单的话说明白一件复杂的事情也是一种成就。 Scheduler任务调度器模块作为Spark的核心部件，涉及三个重要的类 1. org.apache.spark.scheduler.DAGScheduler 2. org.apache.spark.scheduler.SchedulerBackend 3. org.apache.spark.scheduler.TaskSchedule...
Spark Core源码精读计划#31：BlockManager块写入流程
LittleMagic's Blog
09-30 362
目录 前言 块写入流程 块写入的入口 doPutIterator()方法 doPut()方法 总结 前言 一个多月没顾上这个专题，惭愧惭愧。十一期间尽量赶上进度吧。 上一篇文章讲完了BlockManager管理下的数据读取流程，今天就来看写入的流程，顺便将读写放在一起总结一下。 块写入流程 块写入的入口 由于距离上一篇已经过去很久了，这里再贴一次BlockManage...
卷积神经网络程序-matlab
10-03
卷积神经网络程序-matlab-设置基本参数规格，卷积，降采样层，卷积核的大小
利用神经网络实现DNN信号均衡.zip
最新发布
10-03
利用神经网络实现DNN信号均衡
基于文本增强与争议融合的虚假信息检测模型设计源码
10-03
该项目为吉大毕业论文设计源码，主题为基于文本增强与争议融合的虚假信息检测模型。项目包含20个文件，主要包括14个Python源代码文件、2个文本文件、1个Git忽略文件、1个许可证文件、1个Markdown文件、1个JSON文件。该模型旨在提高虚假信息检测的准确性，适用于相关研究与应用场景。
MATLAB 实现的蜜蜂算法优化卷积神经网络（Bee-CNN）进行图像分类预测的详细实例（包含详细的完整的程序和数据）
10-03
内容概要：本文提供了一个基于MATLAB的应用案例来演示蜜蜂算法优化卷积神经网络进行图像识别的具体流程，具体步骤从数据准备、CNN模型构建开始，到用蜜蜂算法优化权值参数、最后是模型训练以及效果评测。附带详尽完整且可以立即使用的源码与实验数据。 适用人群：熟悉 MATLAB 开发环境的基础用户，对图像分类、卷积神经网络及其改进方法有一定理论了解的工程技术人员。 使用场景及目标：该示例适用于初学者掌握MATLAB环境中结合蜜蜂算法改进的卷积神经网路设计技巧、用于解决复杂的图像识别任务。 阅读建议：学习前先确保自己的MATLAB安装完毕并且对基本操作有了解。建议边学习理论边实践尝试修改部分实验参数以便深入了解各个阶段的效果变化。
夏季研究：求解微分方程的神经网络.zip
10-03
夏季研究：求解微分方程的神经网络
学习股票相关知识，使用Python研究股票投资，通常包括爬行股票数据、分析技术
10-03
学习股票相关知识，使用Python研究股票投资，通常包括爬行股票数据、分析技术指标、定量交易到神经网络（深度学习）_stock_study
基于Go语言的爬虫项目设计源码分享
10-03
该项目为基于Go语言的爬虫项目设计源码，包含20个文件，涵盖11个文本文件、5个Markdown文件、2个Python文件和2个Go文件。项目结构清晰，旨在实现高效的数据抓取与分析。
基于uni-app的MIMC即时消息云免费聊天框架设计源码
10-03
本项目是一款基于uni-app的MIMC即时消息云免费聊天框架，源码文件共49个，涵盖JavaScript、Python、HTML和Shell等多种编程语言。其中包括33个JavaScript文件，10个Python文件，以及HTML、LICENSE、Markdown、Java ARchive、批处理和Shell脚本等文件。该框架旨在提供高效、便捷的聊天解决方案，适用于各种移动设备。
手动构建一个完整的神经网络；动手构建完整的神经网络_TinyNN.zip
10-03
手动构建一个完整的神经网络；动手构建完整的神经网络_TinyNN
构建ID3决策树的完整算法代码
10-03
构建ID3决策树的完整算法代码，核心部分讲解见博客地址：https://blog.csdn.net/u013172930/article/details/142694348
神经网络_ python学习.zip
10-03
神经网络_ python学习
[图像分类]使用卷积神经网络（CNN）进行手势识别.zip
10-03
[图像分类]使用卷积神经网络（CNN）进行手势识别
基于Java语言的交互式多叉决策树设计源码
10-03
该项目为基于Java语言的交互式多叉决策树设计源码，共包含28个文件，其中包含23个Java源文件，以及Git忽略文件、Markdown文件、XML配置文件、ARFF文件和CSV文件等，旨在支持连续型和离散型数据的交互式多叉树生长。
基于Java个人日常练习的demo设计源码
10-03
该项目为个人Java日常练习的集合，包含56个文件，其中包括40个Java源代码文件、7个XML配置文件、4个YAML配置文件、2个Markdown文件、2个属性文件、1个Git忽略文件。这些文件共同构成了一个个人练习的demo设计，旨在提升编程技能和实战经验。
在Python中实现BP神经网络算法.zip
10-03
在Python中实现BP神经网络算法
华为杯数学建模论文模板_MathModel_Master_Competition.rar
10-03
华为杯数学建模论文模板_MathModel_Master_Competition
基于MATLAB的BP神经网络手写数字识别系统 带有GUI人机交互式界面
10-03
【作品名称】：基于MATLAB的BP神经网络手写数字识别系统。带有GUI人机交互式界面 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：基于MATLAB的BP神经网络手写数字识别系统。带有GUI人机交互式界面。读入测试图片，通过截取某个数字，进行预处理，经过bp网络训练，得出识别的结果。可经过二次改造成识别中文汉字，英文字符等课题 【资源声明】：本资源作为“参考资料”而不是“定制需求”，代码只能作为参考，不能完全复制照搬。需要有一定的基础能够看懂代码，能够自行调试代码并解决报错，能够自行添加功能修改代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值