Apache DolphinScheduler 3.2.2 版本正式发布!_SeaTunnel

Apache DolphinScheduler 3.2.2 版本正式发布!

近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等。

📥3.2.2版本下载: https://dolphinscheduler.apache.org/zh-cn/download/3.2.2

⚙️Release Note: https://github.com/apache/dolphinscheduler/releases/tag/3.2.2

主要更新

增加参数类型

为了更有效地提升用户体验,本版本针对工作流启动参数、全局参数等参数类型进行拓展,把原有的固定 VARCHAR 数据值类型参数,拓展成为用户能够自行选择的多种类型。

作业数量统计

增加 Master&Worker 的忙碌状态,且增加 alert-server 服务监控,对页面 UI 显示进行优化,便于用户更为直观地监控核心服务状态。另外,增加工作流启动命令和失败命令的展示页面,方便用户直观地掌握工作流启动命令执行情况。

其他重要问题修复

  • 完善了remote shell文档
  • 对工作流操作增加依赖提示
  • 页面交互优化(项目偏好设置)
  • 替换云环境中Java任务依赖环境为jdk
  • 对文件操作的全路径检测
  • 增加记录项目参数的操作详情
  • 优化告警服务启动时加载bean范围
  • 修复参数丢失问题
  • 分页查询时总页数错误问题
  • 修复任务终止后异常调度问题
  • 修复普通用户授权项目问题
  • 修复任务组执行异常导致OOM问题
  • 优化Switch节点检查分支是否存在

新增Feature

  • [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 (  #15967 ) @sdhzwc
  • [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 (  #15978 ) @qingwli
  • 添加 ETCD/JDBC 注册指南链接 (  #15597 ) @pegasas

Improvement

将schema 330 合并到 321 并更改文档 (  #15582 ) (  #15586 ) @zhongjiajie

[Improvement][API] 添加 PageInfo UT (  #15622 ) @Gallardot

[Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。( #15681 @calvinjiang

[Improvement-15694][UI] 保存任务表单后,任务节点使用错误的背景颜色。(  #15695 ) @calvinjiang

[Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题(  #15712 ) @calvinjiang

[Improvement-15723][UI] 解决项目偏好设置替换遗漏问题(  #15724 ) @calvinjiang

[Improvement-15725][UI] 项目偏好设置的默认选项可以清除。(  #15727 ) @calvinjiang

[CI] 合并前需要传递前端 ci (  #15735 ) @SbloodyS

[Improvement][RemoteLogging] 将 init 移至 loghandler (  #15780 ) @pegasas

[Improvement] 添加资源全路径检查 (  #15786 ) @caishunfeng

[Improvement-15744][parameter] 项目参数增加更新时间及更新用户id (  #15745 ) @sdhzwc

从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality ( #15791 @ruanwenjun

[Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal (  #15714 ) @songwenyong

[Improvement] 修复 ProcessServiceImpl 的拼写错误 (  #15817 ) @qingwli

[Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 (  #15844 ) @qingwli

[Fix-15866][Doc] 更新taobao npm 镜像地址 (  #15867 ) @xxzuo

添加 DSIP 模板( #15871 @ruanwenjun

[DSIP-28] 不要扫描类路径下的整个目录 bean( #15874 @ruanwenjun

[DSIP-31] 减少 hikari 的连接池大小 (  #15890 ) @ruanwenjun

[Improvement] 修复警报代码坏味道 (  #15892 ) @qingwli

使用 workerNodeInfoWriteLock 更新工作节点信息 (  #15903 ) @DaqianLiao

[Improvement-15919][datasource] Improvement数据源获取名称 (  #15920 ) @sdhzwc

[Improvement-15910][UI] 使用并行执行模式时,应为自定义并行度提供默认值。(  #15912 ) @calvinjiang

优化 RPC 基类的范围( #15946 @ruanwenjun

[DSIP-35][Alert] 重构警报线程模型 (  #15932 ) @ruanwenjun

[Improvement] 修复 pytorch 任务中的 git url 命令注入问题(  #15873 ) (  #15950 ) @cntigers

添加注册模块统一集成测试 (  #15981 ) @ruanwenjun

[Improvement] 使用带有 snake yaml 的安全构造函数 (  #15758 ) @EricGao888

[Improvement][监控] 为监控器添加 UT (  #15998 ) @qingwli

弃用 2.0.9/3.0.6 升级测试( #16012 @ruanwenjun

[Improvement][Doc]修正 appendix.md 中文文档中的错别字 (  #16033 ) @TianXinCoord

[Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap (  #16058 ) @pegasas

[Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 (  #16192 ) @zhuxt2015

Bugfix

修复恢复暂停工作流实例可能会生成故障转移任务实例问题( #15611 @ruanwenjun

[FIX] 修复审计日志的 parma 拼写错误 (  #16077 ) @qingwli

修复 out 参数可能丢失问题 (  #15617 ) @ruanwenjun

[Bug][API] 列表分页缺少总页数 (  #15619 ) @Gallardot

修复 Hive jdbc url( #15627 @xxzuo

[Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 (  #15621 ) @cqutwangyu

[Bug] 修复可以修改不在资源路径下的文件的问题 (  #15652 ) @ruanwenjun

[Bug] 修复即使任务已被终止也可能会被调度的问题( #15662 @ruanwenjun

[Bug] [Worker] 修复:创建具有主目录的 Linux 用户 (  #15670 ) @zero-element

[Fix-15639] [Master] paramterPassing 为空情况 NPE (  #15678 ) @liuchunhua

[Fix-15679][UI] 修复开关状态按钮显示不正确问题 (  #15686 ) @liuchunhua

[Fix][Master] 修复 worker 故障转移时的潜在危险 (  #15689 ) @ZhongJinHacker

[bug][插件]修复 readme.md 中的单词拼写错误 (  #15716 ) @ZhongJinHacker

修复“启动参数覆盖全局参数”时出现的 NullPointerException 问题 (  #15677 ) @wustlz

[CI] 修复 UI 构建错误 (  #15732 ) @SbloodyS

[Fix-15698][UI] 在新标签页中打开时关闭定义 (  #15736 ) @arlendp

[CI] 修复前端 ci 不触发问题 (  #15749 ) @SbloodyS

[Bug] 当特定工作流版本下存在未完成的工作流实例时,禁止删除该版本( #15730 @ruanwenjun

[Bug] 修复延迟执行任务永远不会被调度的问题 (  #15751 ) @ruanwenjun

[Bug] 修复 Switch 任务不检查分支是否存在问题 (  #15755 ) @ruanwenjun

[Fix] 添加资源全名检查 (  #15757 ) @caishunfeng

[Fix-15771] 修复普通用户可以授予项目权限的问题 (  #15772 ) @silentxingtian

[bug][ui] 添加缺失的数据源并更新数据源 ID (  #15776 ) @whhe

[Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 (  #15773 ) @ruanwenjun

[Bug] 修复依赖任务逻辑 (  #15795 ) @abzymeinsjtu

[Bug] [Common] 修复 common.properties 上的拼写错误( #15806 @pegasas

修复无法构造 StreamingTaskTriggerResponse 实例的问题( #15816 @atjiucheng

[Improvement] 异常字符检查 (  #15824 ) @pinkfloyds

[Improvement] 修改 python-gateway: enabled 默认为 false。(  #15825 ) @pinkfloyds

[Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题… (  #15833 ) @xinxingi

修复 ErrorCommand 丢失 Command 中的某些字段 (  #15847 ) @ruanwenjun

绑定 processId 来构造 CodeGenerator (  #15848 ) @ruanwenjun

禁止强制成功运行正在运行的工作流实例中的任务实例 (  #15855 ) @ruanwenjun

[Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 (  #15857 ) @ruanwenjun

将 ssh 心跳类型更改为 IGNORE( #15858 @ruanwenjun

[FIX] 修复恢复已停止实例失败的问题 (  #15880 ) @privking

修复 queryByTypeAndJobId 可能因多个结果而出错的问题 (  #15883 ) @ruanwenjun

修复终止动态任务不会终止等待运行的工作流实例问题 (  #15896 ) @ruanwenjun

修复自动并发创建 Tennat 会导致任务失败的问题 (  #15909 ) @ruanwenjun

修复 java 任务中 jar 路径不正确的问题 (  #15906 ) @ruanwenjun

[修复] 已完成的任务无法在工作流实例中重新执行( #15884 @privking

[Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand( #15956 @stoplyy

[fix-15907] 修复获取远程 shell 退出代码不正确的问题 (  #15911 ) @Zzih96

[Fix-15969] [Helm] 不存在 DB 节点 (  #15970 ) @Gallardot

EMR 任务支持替换参数占位符 (  #15975 ) @ruanwenjun

文档:修复拼写错误( #15996 @jbampton

修复 ci 中 pg 数据库架构变更检查失败问题 (  #15995 ) @ruanwenjun

[Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index( #15993 @coldestlin

修复由于 varpool 中的重复键导致工作流实例重新启动失败问题( #16001 @ruanwenjun

在注册表 IT 中使用随机端口 (  #16014 ) @ruanwenjun

修复并发操作导致的 rpc channel 泄漏 (  #16021 ) @ruanwenjun

修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 (  #16027 ) @ruanwenjun

[Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 (  #16031 ) @rickchengx

[Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 (  #16038 ) @ruanwenjun

[Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 (  #16050 ) @yinxiaolog

[helm] 从通用标签中删除 AppVersion (  #16066 ) @Gallardot

恢复“[Improvement] 异常字符检查”( #16102 @ruanwenjun

修复状态为 dispatch 的任务实例不会进行故障转移 (  #16107 ) @ruanwenjun

修复切换任务下的任务节点不会被跳过 (  #16108 ) @ruanwenjun

[Bug] 修复条件任务会导致工作流实例失败 (  #16152 ) @ruanwenjun

[Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 (  #16064 ) @tinglink

[Fix-16174] 集群安装指南不正确。( #16208 @SbloodyS

[Fix-16222] 修复 worker 过载导致任务失败的问题 (  #16221 ) @ruanwenjun

[Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务( #16238 @lanxing2

[Fix-16253] 修复 JDBCRegistry 刷新锁错误 (  #16252 ) @ruanwenjun

[Fix-16272][警报服务器] 警报服务器发送警报失败 (  #16275 ) @wangbowen1024

[CP-16252] 修复 JDBCRegistry 刷新锁定错误 (  #16252 ) (  #16273 ) @ruanwenjun

[Fix-16191] 修复任务无法使用工作流的环境 (  #16199 ) @ruanwenjun

[Bug][Worker] 将 jre 替换为 jdk (  #15764 ) @Gallardot

Document修复

[DSIP-32][Master] 为master获取命令添加命令获取器策略 (  #15900 ) @ruanwenjun

[Doc] 修复 CNCF logo( #15634 @Gallardot

[Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 (  #15660 ) @pegasas

[Doc] 修复 ci 文档检查超时问题 (  #15664 ) @SbloodyS

[Doc] 修复资源配置存在拼写错误 (  #15988 ) @dongyu6

文档:修复 contribute.md 中的类型( #16022 @jxbwhe

Chore

琐事:修改一些 CODEOWNERS( #15654 @zhongjiajie

[HotFix] [CI] 暂时跳过可合并检查 (  #15958 ) @SbloodyS

[Chore] 撤销 3.2.2 版一些不兼容的更改 (  #16214 ) @SbloodyS

[Chore] 报警服务器发送报警失败 (  #16275 ) (  #16284 ) @SbloodyS

[Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 (  #16215 ) @SbloodyS

[Hotfix] 修复 dsip 名称问题 (  #15876 ) @ruanwenjun

致谢贡献者

感谢本次发版人@wangxj3 主导本次发版工作,@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导,以及以下 Contributor 的支持(排名不分先后):
DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015

本文由  白鲸开源 提供发布支持!