【第八期】Apache DolphinScheduler 每周 FAQ 集锦

最新推荐文章于 2023-05-29 16:27:53 发布

DolphinScheduler社区

最新推荐文章于 2023-05-29 16:27:53 发布

阅读量641

点赞数

文章标签： apache

本文链接：https://blog.csdn.net/DolphinScheduler/article/details/130896306

版权

点击蓝字关注我们

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。
所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：
1. 关于 Apache DolphinScheduler 的使用问题和技术性问题；
2. 在实际应用中遇到的瓶颈问题；
3. 参与社区贡献遇到的困难；
4. 关于社区发展的疑问。
资源有限，请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）
在社群里已经提问的问题，请勿在文档中重复提问，节约资源。
本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

5月20日-5月26日

问

有没有源码编译打包（选择zk版本）的操作文档呢？

答

https://github.com/apache/dolphinscheduler/

blob/dev/CONTRIBUTING.md#build-with-different-zookeeper-versions

问

目前部署的是3.1.5的版本，使用的是 zookeeper3.8的版本，都是部署在k8s的环境里面，但DS如果配置了zk的集群地址，就连不上，但可以确认这个zk的集群地址是没问题，但DS的apiserver启动的时候，就是一直报连接zk超时，是不是3的版本对zk的配置有什么特别的地方呢？

答

没有，请确定网络是否有问题，可以新建一个单节点同版本的 zk 连接测试下，应该没有问题的。

问

单节点的海豚的工作流放到集群的海豚中，condition没有反应，但是前面的节点都显示加工完成了，这个是什么问题呢？

答

看看日志，如果是3.1.x 版本的请提 issue 具体跟进。

问

DS 3.1.0 ，单机版，worker 节点经常假死，进程还在，但是监控中心看不到，这个是 zk 丢失了worker节点心跳导致的吗？

答

可能是，这个时候看看worker 日志，有心跳写入状态的日志的，以及 worker 服务器的负载。

问

一个网卡，绑定多个IP时，增加work节点，识别出来的IP，不是我要用的IP，如何调整呢？

答

所在节点上更改此配置文件

worker-server/conf/common.properties里面的# network interface preferred like eth0, default: empty#dolphin.scheduler.network.interface.preferred=。

问

3.1.3 接口文档访问地址是什么？http://xxxx/dolphinscheduler/doc.html 这个好像访问不了。

答

http://{API server ip}:12345/dolphinscheduler/swagger-ui/index.html 请查看官方文档 https://dolphinscheduler.apache.org/en

-us/docs/3.1.7/guide/api/open-api

问

DS 的定时调度无法执行，已经定时过的任务无法上线下线，但是可以手动点击执行，请问这种问题应该如何解决呢？

答

看看不能执行的时候 master 的日志是什么问题，如果是 3.1.x 版本的请提 issue 具体跟进。

问

资源中心能用mysql吗？

答

不行，仅本地、hdfs、s3, oss。

问

3.1.1版本上传300M以上的文件报错java.lang.OutOfMemoryError: Java heap space`，修改了dolphinscheduler-daemon.sh的api-server项内存大小参数。但是没有变化，还是报错，内存参数也没有改过来。

答

修改下 api-server/start.sh 里面的内存大小看看。

问

通过Docker部署的DolphinScheduler，怎么添加宿主服务器上DataX的环境变量呢？

答

挂盘，能访问宿主目录就行，需要docker映射访问。

问

目前使用海豚3.1.3版本，点击测试hive连接在hiveservice2里面产生了5个长链接没有关闭，生产环境跑sqltask也是这样连接被打满了，怎么解决？

答

拉这个分支试一下，这个是去掉线程

池的pr：https://github.com/apache/dolphinscheduler/pull/14183

问

DS 3.1.0 工作流定义好上线后执行, 工作流的实例里总没有生成，要重启DS后才能看到实例，是bug还是哪里的问题？

答

看看 master 的日志是否有异常。

问

Dolphinscheduler支持CAS单点登陆吗？

答

目前开源版本没有，但是商业版本有，有商业版需要可以联系运营（微信17743592110）。

问

DS怎么试运行？

答

需要在 Ubuntu 或 Mac 系统下调试。

问

怎么通过DS token实现前台免密登录？

答

DS界面化上，有个授权界面，可以生成token的。在这个token的有效期内，是可以直接请求对应的接口的。系统A 要免密登到DS，流程：第一步：系统A通过某种途径获取到DS的token，并保存到系统A。第二步，系统A携带该token，跳转到ds界面。问题：1.确认下在ds前端界面传的token与通过界面获取的token有无区别，2.如何获取到DS的token。3.理论上只要系统A与DS，都认可某个token，就可以实现免密登录的。或者给予DS与系统A，在开发出一个认证与授权服务，专门来做认证与授权（当然也包括免密登录），我个人更倾向这种方式。ds做调度，dlinky做在线开发，在搞个数据治理，SeaTunnel做数据集成，基本上就是数据中台的模型。

问

3.1.5版本中，使用datax组件同步数据时，显示中文乱码，可能考虑原因有哪些？乱码格式：��

答

在worker本地用命令行之行下 datax，如果同样有问题就是你服务器编码缺少中文的问题。

问

DS 3.1.2版本中，当一个任务流作为一个子任务并发执行的时候，后执行的任务流接收不到全局变量，什么原因？

答

如果是说subprocess 参数传给父工作流的话，目前 3.1.x 还不支持，我们有一个开源之夏的课题会做这个事情，可查看详情报名：https://summer-ospp.ac.cn/org/orgdetail/22999f09-2be2-4dd8-b10f-bc4d6610cc25?lang=zh。

问

数据质量模块可以配置问题数据入库的方式吗？如果要修改源码的话工作量大吗？大概在哪里子模块类中去修改？后续会不会在页面中增加配置问题数据的处理方式？

答

数据质量只是做数据的校验，不清楚你问题数据是什么意思，如果是指数据质量写入result 表的逻辑的话，是在 dolphinscheduler-data-quality 这个module 中的。

问

DS 3.1.6版本中zk注册失败是什么原因？

答

可能是 zk 版本不兼容，3.1.6 推荐使用的版本是 3.8.0，但是有用户发现低版本也可以

使用，另外想要用低版本可以用

https://github.com/apache/dolphinscheduler/

blob/dev/CONTRIBUTING.md#build-with-different-zookeeper-versions 这个方式自行打包。

问