【每周 FAQ】第二期 | 回答你关于 Apache DolphinScheduler 的疑问

点击蓝字 关注我们

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

1. 本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。

2. 所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：

   1. 关于 Apache DolphinScheduler 的使用问题和技术性问题；

   2. 在实际应用中遇到的瓶颈问题；

   3. 参与社区贡献遇到的困难；

   4. 关于社区发展的疑问。

3. 资源有限，请勿提问项目无关问题。

4. 【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）

5. 在社群里已经提问的问题，请勿在文档中重复提问，节约资源。

6. 本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

FAQ（4月8日-4月14日）

问

我想把平台上的Airflow换成DolphinScheduler，有教程吗？

答

可参考迁移工具 Air2phin 宣布开源，2 步迁移 Airflow 至 Dolphinscheduler

问

希望DolphinScheduler的项目管理里面每个项目下面可以实现多层次管理，每个项目下面再细分调度分组或者文件夹形式查看每个调度当前执行情况，社区有相关计划吗？

答

目前没有计划，开源软件不会对权限和资源有太多的控制（除非专门干这个事情的软件），可以了解一下白鲸开源的商业版本，有更加细粒度资源控制。    

问

企业微信机器人告警能配置吗？

答

DolphinScheduler企业微信告警组件，目前只支持创建微信应用的方式，群机器人还无法实现。钉钉机器人组件与微信告警组件发送信息的结构差不多，缺点就是告警信息只能用纯文本，而且没法@群成员。需要注意的是，DolphinScheduler 3.1.4版本的告警信息字段默认拼装在json的根节点，企业微信告警机器人需要把信息字段放在json串的次节点上。

问

希望DolphinScheduler的任务组件不依赖DataX去抽取数据，有自己的抽取数据任务，例如SQL抽取入库，hdfs抽取入库，jdbc抽取入库，文件入库，kafka实时入库，抽取数据源实时写入kafka中等，有相关规划吗？    

答

目前没有相关规划，DolphinScheduler本身是一个任务调度软件，不宜过多关注外部操作，如果不想用DataX，可以尝试使用 SeaTunnel。另外如果你的数据库本身支持，如 redshift 也可以直接做 ELT。    

问

Flink 组件是否支持 Flink on Yarn 模式下的SQL 任务？    

答

支持，Flink任务类型中有SQL提交模式，选Cluster。    

问

使用DolphinScheduler 1.3.3 版本，按照官网的upgrade SQL 执行完之后，页面页面数据显示不出来，元数据中的json 对象格式不一样，有没有详细的升级方法？

答

1.3是比较旧的版本，建议逐步升级的策略，先升级到 2.0.0 后观察是否运行有问题，没有再升级到 3.0.0。可能出问题的主要是 2.0.0 dag的拆分。    

问

DolphinScheduler 3.1.x 之后Hive-jdbc版本如果过高，会导致集群中Hive 连接报错，Hive 中能否支持选定Hive 版本？

答

目前SQL任务不支持指定版本，但是这个问题可以通过替换Hive jdbc jar版本解决。    

问

海豚本身的连接池是不是有探活功能呀？  

答

有的，监控中心，db 就有状态检测。    

问

海豚的压测，有哪位大佬做过么？

答

可参考最新性能测试 | Apache DolphinScheduler 每分钟调度任务并发是 Apache Airflow 2 倍

问

DolphinScheduler现在支持Flink on k8s的调度吗？    

答

DolphinScheduler只是任务调度，和Flink的部署方式无关， 我们只是提交作业给 Flink。如果是指管理 k8s 集群，可以期待一下未发版版本中的集群管理功能。    

每周 FAQ 回顾：

【每周 FAQ】第一期 | 回答你关于 Apache DolphinScheduler 的疑问

参与贡献

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds) 

添加小助手微信时请说明想参与贡献。

来吧，开源社区非常期待您的参与。

< 🐬🐬 >

更多精彩推荐

☞Apache DophinScheduler Meetup 成都站— 批流一体与大数据调度最佳实践

☞优秀用户案例有奖征集 | 活动火热开启，快来投稿！

☞Apache DolphinScheduler 从 1.3.4 升级至3.1.2 过程中的问题记录及解决方案

☞Apache DolphinScheduler 3.1.5 发布，修复工作流实例甘特图查看异常等问题

☞去年办了这么多场Meetup都没有你，2023年赶紧安排起来！

☞为什么工作流中的数据质量要尽早验证，经常验证？

☞DolphinScheduler×思科网讯：k8S整合实践，提高大数据处理效率！

点击阅读原文，点亮Star支持我们哟