【Dolphinscheduler】DS提交pyspark，路径文件找不到问题

一、问题描述

程序需要提供配置输出日志路径，错误配置为：

root_dir: m_ds
log_dir:  m_ds/logs

报错信息：

FileNotFoundError: [Errno 2] No such file or directory: '/tmp/dolphinscheduler/exec/process/8/74/405/418/m_ds/logs/bert_for_multi_label-2022-02-09-17:15:14.log'

二、解决办法

原因：由于日志路径配置错误，如果配置为相对路径，ds则会默认加上自己的前缀/tmp/dolphinscheduler/exec/process/8/74/405/418/。需要在路径前加/ 变为绝对路径：

root_dir: /m_ds
log_dir:  /m_ds/logs