dolphinscheduler使用与测试文档

dolphinscheduler使用与测试文档

1. 安全中心(Security)

1.1 队列管理(Queue manage)

队列是在执行spark、mapreduce等程序,需要用到“队列”参数时使用的(创建后不可删除)
例:

安全中心 -> 队列管理 -> 创建队列
------------------------------------------
名称:queneA
队列值:queneA
------------------------------------------
提交

1.2 租户管理(Tenant Manage)

租户对应的是Linux的用户,用于worker提交作业所使用的用户
如果Linux没有这个用户,worker会在执行脚本的时候创建这个用户
租户编码:租户编码是Linux上的用户,唯一,不能重复。
新建的租户会在HDFS上$hdfsPath(“/dolphinscheduler”)目录下创建租户目录,租户目录下为该
租户上传的文件和UDF函数
租户名称:租户编码的别名。

例:

安全中心 -> 租户管理 -> 创建租户
------------------------------------------
租户编码:etl
租户名称:etl
队列值:default
------------------------------------------
提交
使用到HDFS需要为该用户在HDFS上创建用户目录
sudo -u hdfs dfs -mkdir /user/etl
sudo -u hdfs dfs -chown etl:etl /user/etl

3 用户管理(User Manage)

用户分为管理员用户和普通用户。
授予权限包括:项目权限,资源权限,数据源权限,UDF函数权限。(编辑权限)
管理员可以对普通用户进行非其创建的项目、资源、数据源和UDF函数进行授权。
例:

安全中心 -> 用户管理 -> 创建用户
------------------------------------------
用户名称:test
密码:test123
租户:etl
队列:default
邮箱:xxxxx
手机号:
------------------------------------------
提交

实际生产环境中,可将项目、用户、租户相关联,即为某个大的项目创建一个用户及对应的租户,若需要删除用户,则应首先将项目内的任务删除,然后删除项目,再删除

  • 10
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DolphinScheduler 是一款分布式的、易扩展、高可用的可视化 DAG 工作流调度系统。它可以帮助用户快速构建和调度大规模的数据处理任务、机器学习任务、ETL 任务等。以下是 DolphinScheduler使用文档: 1. 下载和安装 从 DolphinScheduler 的官方网站下载最新版本的二进制包,解压后即可使用。安装过程中需要配置数据库、Zookeeper、Mesos 等组件。 2. 创建项目 在 DolphinScheduler 中,所有的任务都需要被放置在一个项目中。因此,首先需要创建一个项目。在 DolphinScheduler 的主界面中,点击“项目管理”按钮,然后点击“创建”按钮,输入项目名称、描述等信息后,即可创建一个新项目。 3. 创建工作流 在 DolphinScheduler 中,任务是通过工作流来组织和调度的。因此,需要先创建一个工作流。在 DolphinScheduler 的主界面中,点击“工作流管理”按钮,然后点击“创建”按钮,输入工作流名称、描述等信息后,即可创建一个新工作流。 4. 添加任务节点 在 DolphinScheduler 的工作流编辑界面中,可以添加各种任务节点,如 Shell 任务、Python 任务、Java 任务、SQL 任务等。添加节点后,需要设置节点的参数,如执行命令、依赖关系、定时策略等。 5. 调度任务 在 DolphinScheduler 中,可以设置定时策略来调度任务,也可以手动执行任务。在 DolphinScheduler 的任务列表中,可以查看任务的执行状态、日志和结果等信息。 6. 监控和告警 DolphinScheduler 提供了丰富的监控和告警功能,可以实时监控任务的执行状态、资源使用情况等,并在任务执行失败或资源不足时发送告警通知。 7. 扩展 DolphinScheduler DolphinScheduler 可以通过扩展插件来支持更多的任务类型、调度策略、监控工具等。用户可以自行开发插件或使用已有的插件。 以上是 DolphinScheduler 的基本使用文档,详细的使用说明请参考 DolphinScheduler 官方文档

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值