DolphinScheduler实现python任务调用资源文件

如何实现python任务调度资源文件

1.首先已经上传了对应的脚本资源文件

2.引用资源文件

python3 cache-uat/cache_task.py 0 1 doris redis "{'host':'10.150.20.6','port':'9010','username':'aaa','password':'asbsd','database':'uat_tag'}" "SELECT group_id, unnest AS member_id
FROM d_user_group_data_last, unnest(bitmap_to_array(member_id))
ORDER BY group_id, member_id"

 也可以参考博客:dolphinscheduler-2.0.5 Python任务使用记录(资源栏位)

DolphinScheduler 是一个由阿里巴巴集团开源的分布式任务调度平台,用于管理和调度各种任务,包括 Python 任务和 PySpark 任务。当需要编写 Python 任务流时,我们可以使用 DolphinScheduler 提供的 Python 调度器来实现。 编写 DolphinSchedulerPython 任务流可以通过以下步骤进行: 1. 在 DolphinScheduler 平台上创建一个 Python 任务流。登录 DolphinScheduler 平台后,点击任务流管理,然后点击新建任务流。给任务流起一个名称,并且选择 Python 任务流类型。 2. 在任务流中添加具体的任务。点击任务流后,点击添加任务按钮。在弹出的窗口中选择 Python 任务,并为任务指定一个名称。 3. 编写 Python 任务代码。在任务流中,选择刚刚创建的 Python 任务,并点击编辑按钮。在弹出的编辑窗口中,可输入 Python 代码来定义任务的具体逻辑。比如,可以导入所需的 Python 库,定义函数,进行相关的数据处理、计算或分析等。 4. 保存任务流和任务。在完成 Python 任务的编辑后,点击保存按钮来保存任务流和任务。 5. 配置任务流的调度规则。在任务流管理界面,点击任务流名称后面的调度按钮,设置任务流的调度规则,如执行周期、执行时间等,以便自动定时执行任务流。 通过以上步骤,我们可以实现 DolphinScheduler 中的 Python 任务流编写。在编写任务流时,需要根据具体的业务需求来设计逻辑,并且可以借助 Python 的强大功能来处理数据、实现计算或分析等任务。同时,DolphinScheduler 提供了灵活的调度规则设置,可以根据需求进行任务流的定时执行。 总而言之,通过 DolphinSchedulerPython 调度器,我们可以方便地编写 Python 任务流,实现各种数据处理、计算或分析任务,提高任务调度的效率和灵活性。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值