【记录】Apache DolphinScheduler在调度Flink1.12.2时的坑

最新推荐文章于 2024-04-29 22:42:30 发布
最新推荐文章于 2024-04-29 22:42:30 发布
阅读量1.1k 收藏 4
点赞数 2
分类专栏： dolphinscheduler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spark9527/article/details/117548504
版权

一、问题

因为在flink1.12.2已经移除了 -yn 这个参数
但是在Apache DolphinScheduler中需要设置的参数
在这里插入图片描述
设置完成了保存并运行
在这里插入图片描述
然后可以看到由Apache DolphinScheduler拼接的命令
在这里插入图片描述
同时可以看到最底下的报错
在这里插入图片描述
是因为 -yn 这个参数导致的。

二、解决

在设置参数的时候，把对应-yn的那个值设置为空
在这里插入图片描述
可以看到 拼接的命令已经没有 -yn 这个参数了
在这里插入图片描述

槐序i
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
dolphinscheduler 集成flink
weixin_40455124的博客
07-12 4697
版本 dolphinscheduler 1.3.6 hadoop 3.2.1 flink 1.13.1 主要问题 classloader.check-leaked-classloader 使用默认配置（将flink copy到worker节点的/opt/soft/flink下），会遇到这个错误 Exception in thread "Thread-5" java.lang.IllegalStateException: Trying to access closed classloader. Pleas
DolphinScheduler.docx
05-15
大数据调度框架ds，定时任务调度，详解安装与基础配置。大数据调度框架ds，定时任务调度，详解安装与基础配置。大数据调度框架ds，定时任务调度，详解安装与基础配置。大数据调度框架ds，定时任务调度，详解安装与基础配置
DolphinScheduler海豚调度教程_海豚调度使用说明
2301_79988566的博客
04-29 1269
首页包含用户所有项目的任务状态统计、流程状态统计、工作流定义统计。本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.
基于DolphinScheduler构建大数据调度平台
08-02
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具，有以下一些特点：1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态；2、支持丰富的任务类型；3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作；4、支持工作流全局参数及节点自定义参数设置；5、支持集群HA，通过 Zookeeper实现 Master 集群和 Worker 集群去中心化；6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计；7、支持补数，并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台，实战讲解多种任务调度配置，会基于案例讲解DolphinScheduler使用，让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler，掌握DolphinScheduler调度使用势在必行，抓住新技术机遇，为跳巢涨薪做好准备。
DolphinScheduler 调用flink以及api的 使用
wudonglianga的专栏
07-25 4939
1.ds 调用flink 的使用 官方文档连接 ：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/quick-start.html 2. 首先可以创建队列 作为程序调用的时候作为队列使用， 创建后不能删除。 3. 创建租户 1.租户对应的是linux 用户, 用户worker 提交作业所使用的的用户， 如果linux 没有这个用户， worker 会在执行脚本的时候创建这个用户 2.租户和租户编码都是唯一不能重复，好比一个人有名
Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台
张伟的专栏
05-09 4780
在推导的过程中，通常会运用到一些比较关键的信息，下图中所展示的是 SQL 任务提交过程中构建的 StreamGraph，血缘实现的原理是基于 Pact、Contents、Predecessors 等参数实现 Source 和 Sink 字段关系的推导，但是有一些自定义的 UDF 以及连接器是不包含类似元数据的信息，比如说 Hudi 的连接器是无法进行 Hudi 的血缘。通过 Dinky 来提供一个完整的任务开发运维的平台能力，满足常见的企业数据平台需求。
Flink从入门到放弃—Stream API—常用算子(reduce）
京河小蚁的博客
11-15 791
reduce对键控数据流的“滚动”统计或者计算。将当前元素与最后减少的值合并并发出新值。普通reduce窗口reduce1、keyBy() -> reduce 算子组合，会计算历史以来所有数据的和，每过来一条数据，就输出一次结果；2、window()->reduce 算子组合，计算的是window窗口内的数据和（也就是一定时间内的数据统计），每次窗口触发的时候，才会输出一次结果。
apache-dolphinscheduler-3.0.0-bin.tar.gz
09-14
《Apache DolphinScheduler 3.0.0：高效工作流调度系统详解》 Apache DolphinScheduler（以下简称DolphinScheduler）是一款开源的工作流调度系统，旨在解决大数据处理中的任务编排问题，提供可视化的作业流程设计、...
apache-dolphinscheduler-2.0.1
12-20
Apache DolphinScheduler是一款强大的分布式工作流调度系统，专为大数据处理任务设计。它的主要目标是解决大数据处理中的工作流编排、任务调度以及监控等问题。在2.0.1版本中，DolphinScheduler提供了更丰富的功能和...
apache-dolphinscheduler-3.2.1-src.tar.gz、bin.tar.gz
最新发布
05-15
Apache DolphinScheduler是一款强大的分布式工作流任务调度系统，主要用于大数据处理领域的任务编排和调度。它提供了Web图形化界面，使得用户可以方便地设计、监控和管理复杂的数据处理流程。在这个场景中，我们有两...
apache-dolphinscheduler-incubating-1.2.1-src.zip
06-05
在资源管理上，DolphinScheduler集成了常见的大数据处理框架，如Hadoop、Spark、Flink等，可以有效地管理和调度这些框架的计算资源。它允许用户设置任务的CPU和内存需求，以优化集群资源的使用。 监控与报警是另一...
CDH6.3.2集成Flink1.12.2-parcel包(apache Flink-1.12.2-bin-scala_2.12.tgz)
04-15
标题中的"CDH6.3.2集成Flink1.12.2-parcel包"涉及到的是Cloudera Data Hub (CDH) 和 Apache Flink 的集成，其中CDH是企业级的大数据平台，而Flink是一个开源的流处理框架。在CDH中，Flink的安装通常通过Parcel方式来...
Dolphinscheduler集成Flink任务踩坑记录
快乐星球
11-26 5539
1、关于Flink打包 flink任务编写完成，在本地运行调试正常后，我打包提交到Dolphinscheduler平台进行测试。运行后没多久就报错： [taskAppId=TASK-10-108-214]:[138] - -> java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumer at com.bigdata.flink.FlinkKafka.main(Fli
深入了解海豚调度DolphinScheduler
热门推荐
zhengzaifeidelushang的博客
11-14 5万+
深入了解海豚调度DolphinScheduler
突破单点瓶颈、挑战海量离线任务，Apache Dolphinscheduler在生鲜电商领域的落地实践
Apache DolphinScheduler开源社区
10-21 969
惊喜：文末有插件推荐，随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统稳定还要求操作简单，上手方便。
使用 DolphinScheduler 调度 Kylin 构建
Apache DolphinScheduler开源社区
03-01 283
本文章经授权转载Apache Kylin 上游通常有复杂的数据 ETL 过程，如 Hive 入库、数据清洗等；下游有报表刷新，邮件分发等。集成 Apache DolphinSchedul...
修改DS工作流之后，所有的工作流列表显示异常
qq_26395737的博客
07-04 1219
工作流修改完之后工作流list页面显示异常
DolphinScheduler流程调度工具
无语梦醒的博客
03-16 7429
​ 目录 一、平台简介 二、竞品软件分析 三、安装部署  3.1 基础环境 3.2 安装前操作 3.3具体安装操作步骤 3.4 名词解释 四.功能介绍 4.1 首页&项目管理 4.1.1 首页 4.1.2 项目管理 4.1.3 任务节点类型和参数设置 4.2 资源中心 4.2.1文件管理 4.2.2 UDF管理 4.3 数据源中心 4.4 监控中心 4.5 安全中心 4.5.1 租户管理 4.5.2 用户管理 4.5.3 告警组管理 4.5.4 Wor.
Apache DolphinScheduler：下一代大数据任务调度的引领者与实践
应用案例展示了DolphinScheduler在实际场景中的广泛使用，帮助众多企业有效地管理和监控其大数据处理流程，确保了数据处理的高效和稳定。社区活跃度高，有来自多个领域的代码和文档贡献者，以及部分用户的实际案例，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值