Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统

​Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版,发布内容如下:

新特性:

  • [#1497] 通过 API 创建的工作流在前端展示时自动调整布局。
  • [#747] Worker server 运行日志脱敏。
  • [#1635] 配置文件适当合并。
  • [#1547] 节点内容编辑支持全屏缩放。

增强:

  • [#184] 被工作流引用的 worker 不能被删除。
  • [#1441] 可创建包含 "." 的用户名。
  • [#839] 可切换 Spark 版本。
  • [#1511] 前后端编译文件合并。
  • [#1509] 去除 Master 和 Worker 监听端口(5566,7788)。
  • [#1575] 去除 kazoo ,简化部署。
  • [#1300] 邮件内容可右对齐。
  • [#1599] 增加前端部署的 nginx 配置文件。
  • 支持 Mac 进行开发和 debug。

Bug 修复:

  • 特定情况下弹出框不能关闭。
  • [#1399] 日志信息中字段顺序错误。
  • [#1379] sql 任务节点日期转换错误。
  • [#1477] 特定情况下,数据库延迟的时候,任务会一直执行。
  • [#1514] 队列关联用户后修改队列信息,新修改的队列信息未保存到数据库。
  • [#1768] 用户管理分页错误。
  • [#1770] 用户取消租户关联后,仍能使用原租户 hdfs 的资源。
  • [#1779] 子进程失败后仍显示成功。
  • [#1789] 通过任务实例页面查看任务执行历史显示错误。
  • [#1810] 特定情况下,依赖节点不显示具体依赖。
  • [#1816] 添加多个依赖后,再添加新的依赖时,依赖列表读取错误。
  • [#1828] UDF 授权后,UDF 文件路径授权错误。

更多发布信息可移步:

https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.2.1

近期社区也收到了来自社区贡献者的诸多新特性贡献,比如 DataX , Sqoop 数据同步、条件判断任务类型; DolphinScheduler 的 Ambari 插件化部署等等新功能,预计不久后就会发布。


DolphinScheduler设计特点:

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化

在线 DEMO 试用: http://106.75.43.194:8888/

系统部分截图

在用公司(部分统计,Wanted: who's using DolphinScheduler)

已经有大量知名企业和科研机构在使用 Apache DolphinScheduler,来处理各类调度和定时任务:

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。

发送订阅邮件也非常简单,步骤如下:

1. 用自己的邮箱向 dev-subscribe@dolphinscheduler.apache.org 发送一封邮件,主题和内容任意。

2. 接收确认邮件并回复。 完成步骤1后,您将收到一封来自dev-help@dolphinscheduler.apache.org 的确认邮件(如未收到,请确认邮件是否被自动归入垃圾邮件、推广邮件、订阅邮件等文件夹)。然后直接回复该邮件,或点击邮件里的链接快捷回复即可,主题和内容任意。

接收欢迎邮件。 完成以上步骤后,您会收到一封主题为WELCOME to dev@dolphinscheduler.apache.org的欢迎邮件,至此您已成功订阅Apache DolphinScheduler(Incubating)的邮件列表。

强烈推荐订阅开发邮件列表,与社区保持最新信息同步,这一点非常重要。

 
发布了181 篇原创文章 · 获赞 261 · 访问量 106万+
展开阅读全文

DataXceiver error processing unknown operation

12-02

hadoop集群启动节点DataNode、NodeManager都可以正常启动,但查看日志 2015-12-01 16:31:09,216 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Got finalize command for block pool BP-2032151256-192.168.18.139-1448951568590 2015-12-01 16:31:09,222 INFO org.apache.hadoop.util.GSet: Computing capacity for map BlockMap 2015-12-01 16:31:09,222 INFO org.apache.hadoop.util.GSet: VM type = 64-bit 2015-12-01 16:31:09,223 INFO org.apache.hadoop.util.GSet: 0.5% max memory 889 MB = 4.4 MB 2015-12-01 16:31:09,223 INFO org.apache.hadoop.util.GSet: capacity = 2^19 = 524288 entries 2015-12-01 16:31:09,224 INFO org.apache.hadoop.hdfs.server.datanode.BlockPoolSliceScanner: Periodic Block Verification Scanner initialized with interval 504 hours for block pool BP-2032151256-192.168.18.139-1448951568590 2015-12-01 16:31:09,231 INFO org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: Added bpid=BP-2032151256-192.168.18.139-1448951568590 to blockPoolScannerMap, new size=1 2015-12-01 16:31:34,169 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: data2:50010:DataXceiver error processing unknown operation src: /127.0.0.1:36068 dst: /127.0.0.1:50010 java.io.EOFException at java.io.DataInputStream.readShort(DataInputStream.java:315) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:58) at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:212) at java.lang.Thread.run(Thread.java:744) 2015-12-01 16:32:34,195 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: data2:50010:DataXceiver error processing unknown operation src: /127.0.0.1:36093 dst: /127.0.0.1:50010 java.io.EOFException at java.io.DataInputStream.readShort(DataInputStream.java:315) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:58) at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:212) at java.lang.Thread.run(Thread.java:744) 4个节点有3个节点都报这个错,其中1个节点不报。请问各位这是什么原因? 问答

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览