调度
大数据调度系统
wudl5566
这个作者很懒,什么都没留下…
展开
-
dolphinscheduler 执行脚本 shell 自动远程操作服务器
代码】dolphinscheduler 执行脚本 shell 自动远程操作服务器。原创 2022-08-07 16:27:17 · 1463 阅读 · 0 评论 -
DolphinScheduler 传递参数到flink程序中
1. 通过DolphinScheduler 将参数传递到flink 程序中。2.定义工作流程3. flink 代码程序:测试代码package com.wudl.flink.instance;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.functions.RichFilterFunction;import org.apache.flink.api.com原创 2021-08-03 00:41:36 · 2009 阅读 · 2 评论 -
dolphinscheduler-集群安装
1. 整体的架构1.1 官网https://dolphinscheduler.apache.org/zh-cn/index.html1.2 架构图1.3 源码下载: 本文下载的1.3.6 版本https://github.com/apache/dolphinscheduler/releases1.4 下载好解压:unzip dolphinscheduler-1.3.6.zip2.修改源码和大数据的版本pom 文件主要修改hdfs 和hive 的版本对应 ambari 或者cdh原创 2021-07-31 20:08:12 · 772 阅读 · 0 评论 -
dolphinscheduler 的api 调度使用RestTemplate采用内置用户 调用接口
1. 项目的整体架构2. 相当于每次调用接口的时候先登录 用户登录 -------> 返回获取header 头中获取token 然后在通过token 调用其他接口 合理的方法是: 每次登录后将获取到的token 存到redis 中然后其他接口在调用的时候先从redis 获取token(因为token 中有 有效时间的限制) , 如果没有token 的话就 在登录获取token 然后才存入redis中。 @PostMapping("/getRequestToken")原创 2021-07-31 17:26:10 · 1147 阅读 · 0 评论 -
DolphinScheduler-api调度之RestTemplate
1. 通过RestTemplate 的工具类进行封装然后调用 get 和post通过RestTemplate 进行调用DolphinScheduler 的接口 post 方式实现文档接口 – 流程实例的执行通过postmain 调用:ds 界面所有代码如下1.1 工具类:RestTemplateUtils.avapackage com.wudl.ds.utils;import org.springframework.http.HttpEntity;import org.spr原创 2021-07-31 00:40:43 · 1840 阅读 · 0 评论 -
DolphinScheduler-api 的调用
1. DS 的api 调用1.1 参考资料1.对应的api 接口文档: http://192.168.1.163:12345/dolphinscheduler/doc.html2. 查看源码:https://github.com/apache/dolphinscheduler (找到对应的版本下载)2.api 调用:3. 参数解释keyvalue解释executeTypeREPEAT_RUNNINGNONE,REPEAT_RUNNING, RECOVER_SUS原创 2021-07-25 15:49:58 · 4291 阅读 · 2 评论 -
DolphinScheduler 调用flink以及api的 使用
1.ds 调用flink 的使用官方文档连接 :https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/quick-start.html2. 首先可以创建队列 作为程序调用的时候作为队列使用, 创建后不能删除。3. 创建租户1.租户对应的是linux 用户, 用户worker 提交作业所使用的的用户, 如果linux 没有这个用户, worker 会在执行脚本的时候创建这个用户2.租户和租户编码都是唯一不能重复,好比一个人有名原创 2021-07-25 00:34:36 · 4975 阅读 · 1 评论 -
Azkaban 调度
1.azkan 的Work Flow 调度1.新建一个项目2. 编写多个脚本执行flow 脚本参数解释:1)name:作业名称2)type:作业类型(详细类型配置见第3章)3)config:和作业类型相关的配置,也以KV值形式4)dependsOn:作业依赖名称实例:bigdata.flow 文件内容nodes: - name: mysql_bidding_to_hdfs type: command config: command: /opt/shell/原创 2021-07-05 16:14:14 · 174 阅读 · 0 评论