![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
源码解析
文章平均质量分 93
enjoy编程
Stay hungry, stay foolish.(求知若饥,虚心若愚。)10+IT行业老兵,熟悉大数据处理,分布式编程, 喜欢使用java、python解决工作、生活中的问题
展开
-
hugegraph 数据加载工具loader源码解析
1. 概述HugeGraph-Loader 是 HugeGragh 的数据导入组件,能够将多种数据源的数据转化为图的顶点和边并批量导入到图数据库中。目前支持的数据源包括: 本地磁盘文件或目录,支持 TEXT、CSV 和 JSON 格式的文件,支持压缩文件 HDFS 文件或目录,支持压缩文件 主流关系型数据库,如 MySQL、PostgreSQL、Oracle、SQL Server 本地磁盘文件和 HDFS 文件支持断点续传。本文针对hugegraph-loader-原创 2021-05-14 17:28:56 · 711 阅读 · 1 评论 -
源码解析-- DolphinScheduler master server流程执行过程分析
海豚调度dolphinscheduler目前是Apache顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:master server 流程执行过程分析本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码进行分析。1. 相关概念相关概念部分请看官方文档流程定义:通过拖拽任务节点并建立任务节点的关联..原创 2021-03-10 18:26:02 · 2270 阅读 · 4 评论 -
Apache DolphinScheduler征稿-- DolphinScheduler如何做到不同Task的日志输出到不同的日志文件
海豚调度dolphinscheduler目前是Apache顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:如何将不同任务的日志输出到不同的日志文件本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码进行分析。1. 相关知识介绍1.1SiftingAppenderSiftingAppender可...原创 2021-03-09 14:27:43 · 1530 阅读 · 3 评论 -
Apache DolphinScheduler征稿--DolphinScheduler--如何停止、暂停运行中的流程实例
海豚调度dolphinscheduler目前是Apache顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:master与worker交互的消息处理器 海豚调度如何停止、暂停运行中的流程实例 任务执行线程的的类设计 可能存在的问题本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码,分析如何搭建调试环境..原创 2021-03-05 17:12:33 · 3735 阅读 · 3 评论 -
Apache DolphinScheduler征稿-- DolphinScheduler--master与worker的交互过程
海豚调度dolphinscheduler目前是Apache顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:海豚调度任务执行过程中master与worker的交互过程 如何处理过程中的异常本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码,分析如何搭建调试环境。1. master与worker的消息处..原创 2021-03-04 15:05:47 · 1914 阅读 · 2 评论 -
源码解析-- DolphinScheduler-Worker负载均衡算法细述
海豚调度dolphinscheduler目前是Apache顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:海豚调度提供的负载均衡算法 如何获取worker的负载信息(lowerweight算法使用)本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码,分析如何搭建调试环境。1. Worker提供的负载..原创 2021-03-04 09:12:59 · 2197 阅读 · 3 评论 -
Apache DolphinScheduler征稿--如何针对源代码进行远程调试【以dolphinscheduler源码为例】
海豚调度dolphinscheduler目前是 Apache 顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:如何针对源代码进行调试如何调试dolphinscheduler的监控中心服务本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码,分析如何搭建调试环境。1 远程调试为了理解源代码的执行过程,节省无用的原创 2021-03-03 09:49:45 · 1003 阅读 · 1 评论 -
Apache DolphinScheduler征稿--海豚调度 dolphinscheduler SQL 脚本初始化流程
海豚调度dolphinscheduler目前是 Apache 顶级项目,作为国内优秀的开源项目,它的架构设计理念会有很多值得我们学习和借鉴。海豚调度dolphinscheduler是分布式易扩展的可视化DAG工作流任务调度系统本文会包含如下内容:dolphinscheduler 部署时,如何进行数据库脚本初始化dolphinscheduler如何维护不同版本的数据库脚本本篇文章适合人群:架构师、技术专家以及对任务调度非常感兴趣的高级工程师本文以海豚1.3.5的源代码,分析数据库脚本初始化流程原创 2021-03-01 14:38:08 · 1768 阅读 · 2 评论 -
源码解析 --skywalking agent 插件加载流程
1. 插件目前很多框架,都采用框架+插件的模式开发。如DataX、FlinkX通过插件支持众多异构数据源, Skywalking通过插件实现针对很多软件如redis、mysql、dubbo等方法执行信息采集。本文针对 skywalking agent 插件加载流程进行源码解析,理解插件的接口定义、加载机制针对skywalking agent的插件开发指导,请参考:https://github.com/apache/skywalking/blob/master/docs/en/guides..原创 2021-03-01 14:58:21 · 476 阅读 · 1 评论