dolphinscheduler
文章平均质量分 71
emmmm,就瞎写
q_j_c
只为记录成长。争取每天输出一点点,日有所积,月有所累。
展开
-
dolphin scheduler (六)
worker端处理的主要类图下面的图就是worker端的主要类图了,主要由接到一个task,再到判断task所属类型,替换参数的占位符最后再提交到集群的一个并将部分日志回写的过程~,(只是画一些自己认为是主要的类)TaskExecutorThread上一篇主要讲到了NettyRemotingClient与TaskExecuteProcessor这两个类,并且最后通过new 一个TaskExecutorThread 对象并将该对象丢给线程池帮运行,今天就看这类的代码,上代码凑字数:/** * ta原创 2021-03-23 23:20:47 · 512 阅读 · 0 评论 -
dolphin scheduler (五)
前言继续续上上一回的文章, 这回看到了NettyRemotingClient这个类,只看它的代码,不会分析到netty是怎么干活的,以后深入学一波netty框架。这个类主要就是创建与worker通信的client类,这么看worker是一个server端啦。一、NettyRemotingClient类先粘它的代码上来水半篇再说,二、使用步骤1.引入库代码如下(示例):import numpy as npimport pandas as pdimport matplotlib.pyplo原创 2021-03-14 15:42:19 · 622 阅读 · 4 评论 -
dolphin scheduler(四)
系列文章文章目录系列文章前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as原创 2021-03-07 12:17:11 · 820 阅读 · 0 评论 -
dolphin scheduler(三)
@TOC前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as npimport pandas as pdimport matplotlib...原创 2021-03-06 21:48:29 · 795 阅读 · 0 评论 -
dolphin scheduler(二)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、master中主要的类图1.MasterSchedulerService2.MasterExecThread总结前言本次只是为了达到打通DS 从master 端到worker端观察一个工作流是如何被解析成一个 任务集,这些任务是再是怎么发送到了worker端,通过worker提交任务到集群上。不看细节只看主流程。一、master中主要的类图哈,我就把我在读代码的过程中认为是主要的类图进行画了下来,标上鲜艳的色彩的原创 2021-03-05 00:15:45 · 872 阅读 · 1 评论 -
dolphin scheduler(一)
(dolphin scheduler学习)初识海豚调度器海豚调度器是一个国人开发的大数据任务平台的开源应用,属于apache正在孵化的项目。满足公司内部的业务场景需求,也想拥有一套满足自己内部需要的调度应用,得借助开源的力量,在其基础上做定制化开发了(没办法能力不够,否则就团队研发一套啦,本人菜鸡一枚)。1.海豚调度器的资料。该调度器是一个去中性化的分布式架构,在开源的任务调度应用里很有特色。开发设计资料,架构资料,APi接口资料都可以在官网上可找。已经足够开发者能够对整个应用的项目使用,代码层级结原创 2021-02-21 14:49:07 · 4292 阅读 · 3 评论