dolphinscheduler海豚调度(三)SQL任务

在之前的博文中,我们已经介绍了DolphinScheduler海豚调度的基本概念和模块,安装部署和元数据切换,以及Shell任务的实践。今天,让我们来深入探讨DolphinScheduler中另一种常见的任务类型:SQL任务。

SQL任务是DolphinScheduler中非常重要的一种任务类型,它允许用户在调度系统中运行SQL语句,通常用于数据处理、数据分析等场景。下面我分别以为MySQL和Hive为例,详细介绍如何在DolphinScheduler中创建和配置SQL任务。

源中心

首先要在源中心增加MySQL和Hive实例

MySQL:填好ip,端口,用户名,密码,数据库名称

Hive:选中HIVE/IMPALA数据源类型,填好IP,端口是 10000,用户名,密码(有些用户没有密码可以不填),数据库名

MySQL SQL任务

在DolphinScheduler的Web界面中,选择相应的项目和工作流,点击“新建任务”按钮,在任务类型中选择“SQL”,填写任务名称和描述等基本信息,然后点击“提交”按钮即可创建一个SQL任务。

配置SQL任务
在SQL任务的配置页面中,我们需要设置以下几个关键参数:

数据源:选择MySQL。数据源实例:选择刚才新增的MySQL实例

查询:

非查询

Hive SQL任务

日志


通过本文的介绍,我们深入了解了DolphinScheduler海豚调度中的SQL任务,掌握了创建和配置SQL任务的方法。SQL任务作为DolphinScheduler中的重要功能之一,为用户提供了强大的数据处理和管理能力,帮助用户更高效地完成数据处理任务。

希望本文能够对大家理解和使用DolphinScheduler中的SQL任务有所帮助,也欢迎大家在实践中进一步探索和应用,发挥出SQL任务的更多潜力。

DolphinScheduler海豚调度)是一个分布式易扩展的可视化DAG工作流任务调度平台。它支持多种任务类型,可以灵活地配置和监控任务执行。对于每个月月末的跑批任务,可以使用DolphinScheduler来自动化处理。 以下是使用DolphinScheduler配置月末跑批任务的基本步骤: 1. 创建工作流: 在DolphinScheduler的Web界面上创建一个新的工作流,命名为"月末跑批"。 2. 添加任务节点: 根据月末跑批的具体需求,添加相应的任务节点。常见的任务类型包括Shell脚本、SQL查询、数据导入导出等。 3. 配置任务参数: 为每个任务节点配置必要的参数,如数据库连接信息、文件路径等。 4. 设置任务依赖关系: 根据任务之间的依赖关系,使用DolphinScheduler的拖拽功能连接各个任务节点,形成完整的DAG(有向无环图)流程。 5. 设置调度规则: 在工作流设置中,配置调度周期。选择"每月"选项,并指定具体的执行日期(例如每月最后一天)。 6. 配置通知策略: 设置任务执行成功或失败时的通知方式,如邮件、短信或钉钉消息等。 7. 保存并发布: 完成所有配置后,保存工作流并点击发布按钮。 8. 监控执行情况: 在工作流执行后,可以通过DolphinScheduler的监控界面查看任务执行状态、日志等信息。 使用DolphinScheduler进行月末跑批的优势: - 支持分布式部署,提高处理能力
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据_苡~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值