dolphinscheduler相关进程与启动

最新推荐文章于 2024-07-02 16:05:23 发布
最新推荐文章于 2024-07-02 16:05:23 发布
阅读量2.4k 收藏
点赞数
分类专栏： dolphinscheduler 文章标签： p2p linux java
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/gaojingsong/article/details/122412674
版权
本文介绍了Dolphinscheduler的各个组件包括MasterServer、WorkerServer、LoggerServer和ApiApplicationServer的启动和停止命令，以及如何一键停止和启动整个集群服务。
摘要由CSDN通过智能技术生成

MasterServer----- master服务
WorkerServer----- worker服务
LoggerServer----- logger服务
ApiApplicationServer----- api服务
AlertServer----- alert服务

一键停止集群所有服务    sh ./bin/stop-all.sh

一键开启集群所有服务    sh ./bin/start-all.sh

启停Master
sh ./bin/dolphinscheduler-daemon.sh start master-server        

sh ./bin/dolphinscheduler-daemon.sh stop master-server
启停Worker
sh ./bin/dolphinscheduler-daemon.sh start worker-server        

sh ./bin/dolphinscheduler-daemon.sh stop worker-server
启停Api
sh ./bin/dolphinscheduler-daemon.sh start api-server             

sh ./bin/dolphinscheduler-daemon.sh stop api-server
启停Logger
sh ./bin/dolphinscheduler-daemon.sh start logger-server      

sh ./bin/dolphinscheduler-daemon.sh stop logger-server
启停Alert
sh ./bin/dolphinscheduler-daemon.sh start alert-server        

sh ./bin/dolphinscheduler-daemon.sh stop alert-server

gaojingsong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
DolphinScheduler集群部署
andakiwukawa的博客
07-26 1018
一、环境要求 1.硬件环境 硬件环境包括：系统、硬件、端口号 系统要求 硬件要求，只是推荐配置，没有那么强也可以。 端口号要求。如果说在部署的过程中，某个节点起不来，查看日志，抛异常说端口号被占用，用ps或者net 查看端口号使用进程是否被占用。 2.软件要求 软件环境包括： mysql、jdk、zookeeper、hadoop CDH5.12.0 jdk1.8 mysql5.7 zookeeper-3.4.5-cdh5.12.0 二、部署过程 1.下载编译好的bin..
dolphinscheduler配置
07-13
dolphinscheduler使用hive，hadoop，spark，datax，python，scala修改添加的配置
DolphinScheduler 3.1.9 启动、任务执行过程 源码 解析
最新发布
TNT_D的博客
07-02 1088
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
DolphinScheduler
Leeyehong_self的专栏
07-15 3749
大数据调度工具
dolphinscheduler服务启动
qq_44128460的博客
11-28 1454
dolphinscheduler（简称DS）此文档对应版本是2.0.5，采用得是docker-compose部署，类似于一键启动这里不再过多介绍，重点介绍如何使用MySQL作为DS数据库，DS默认使用PostgreSQL。
海豚调度启停命令汇总
weixin_43025027的博客
02-23 1553
1.启动命令 sh bin/start-all.sh 2.停止命令 sh bin/stop-all.sh 3.启动停止master sh ./bin/dolphinscheduler-daemon.sh start master-server sh ./bin/dolphinscheduler-daemon.sh stop master-server 4.启动停止worker sh ./bin/dolphinscheduler-daemon.sh start worker-server sh ./bin/d
工作流任务调度系统：Apache DolphinScheduler
热门推荐
Yore - Home
11-02 7万+
Apache DolphinScheduler（目前处在孵化阶段，原名为EasyScheduler）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。本文对DolphinScheduler做了简要的概述，并详细讲解了其安装，通过简单的例子快速开始并使用。最重要的是Worker分组和数据源的添加，以及与Azkaban的对比。
dolphinscheduler使用与测试文档
rocky_24的博客
04-28 751
DS 使用与测试
虚拟机单节点dolphinscheduler调度和相关环境的安装部署的详细步骤
qq_57795376的博客
02-02 1283
虚拟机单节点dolphinscheduler调度和相关环境的安装部署的详细步骤
【部署】Apache DolphinScheduler 伪集群部署
weixin_43681796的博客
01-13 1701
DolphinScheduler 伪集群部署 单机部署 Ubuntu Linux Java Mysql Zookeeper 2.0.5 apache
DolphinScheduler运维-页面加载缓慢
zcs2312852665的博客
03-19 992
DolphinScheduler调度平台的UI界面加载缓慢，项目中的任务实例加载时间过长，需要解决这个问题，提高DolphinScheduler平台UI页面的加载速度。
dolphinScheduler安装
q495673918的博客
01-31 206
默认的用户名和密码是 admin/dolphinscheduler123。
dolphinscheduler 执行脚本 shell 自动远程操作服务器
wudonglianga的专栏
08-07 1506
代码】dolphinscheduler 执行脚本 shell 自动远程操作服务器。
DolphinScheduler的Master节点掉线问题排查
weixin_43025027的博客
02-13 4099
DolphinScheduler的Mater节点掉线问题排查解决
数仓学习---14、大数据技术之DolphinScheduler
星光不问赶路人，岁月不负有心人
07-25 3159
大数据技术之DolphinScheduler
DolphinScheduler大数据调度系统
Im ok的博客哦
06-30 1万+
一、背景 在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具： 易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师; 解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态; 支持多租户; 支持许多任务类型：Shell，MR，Spa
（三十一）大数据实战——一键式DolphinScheduler高可用工作流任务调度系统部署安装
厉害哥哥的博客
09-16 787
DolphinScheduler（Dolphin Scheduler）是一个分布式、易扩展的开源 DAG（有向无环图）工作流任务调度系统，可用于构建大规模数据处理、数据仓库、ETL 等复杂的数据处理和数据分析场景。DolphinScheduler 支持多种任务类型，包括 Shell、SQL、Spark、Python、Sub-Process、HTTP、Flink 等，同时也支持用户自定义任务类型。本节内容我们完成DolphinScheduler工作流系统的搭建。
12、DolphinScheduler
赞的心路历程
01-06 1707
打开要设置分组的 Worker 节点上的 worker.properties 配置文件，修改 worker.groups 参 数，worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default，如果该 worker。此处可配置 Worker 运行环境（任务运行时所需的环境变量），默认的运行环境由 Worker节点中，dolphinscheduler 安装目录下的 conf/env/dolphinscheduler_env.sh 决定。
dolphinscheduler3.1.4部署
04-28
DolphinScheduler 是一个易于使用和可扩展的大数据可视化分布式任务调度平台。它支持多种任务类型，包括 Hadoop、Spark、Flink 等，并允许用户通过 WebUI 进行统一管理。本文将介绍 DolphinScheduler 3.1.4 版本的部署流程。 1. 环境要求 - Java 8 或以上版本 - ZooKeeper 3.5.7 或以上版本 - MySQL 5.6 或以上版本 - Hadoop 2.x 或 3.x - Spark 2.x 或以上版本 - Flink 1.9.x 或以上版本 - Maven 3.x 或以上版本 2. 下载源码 从 DolphinScheduler 的官方仓库（https://github.com/apache/incubator-dolphinscheduler ）下载最新的源码，解压后进入根目录。 3. 编译打包 在根目录下执行以下命令，编译并打包 DolphinScheduler： ```bash mvn clean package -DskipTests -P all-in-one ``` 等待编译完成后，在 target 目录下生成 dolphinscheduler-all-3.1.4-distribution.tar.gz。 4. 解压部署包 将压缩包解压到指定目录下，如 /opt/dolphinscheduler。 ```bash tar -zxvf dolphinscheduler-all-3.1.4-distribution.tar.gz -C /opt/ ``` 5. 配置数据库 - 创建数据库 ```sql CREATE DATABASE dolphinscheduler DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci; ``` - 导入初始数据 进入 DolphinScheduler 的 bin 目录，执行以下命令，导入数据库结构和初始数据： ```bash sh create-dolphinscheduler.sh -p mysql -h 127.0.0.1 -P 3306 -u root -v root ``` 其中，-h 表示数据库主机，-P 表示端口，-u 表示用户名，-v 表示密码。 6. 配置 ZooKeeper 在 DolphinScheduler 的 conf 目录下，编辑 zookeeper.properties 文件，设置 ZooKeeper 服务器的连接信息： ```bash zookeeper.quorum=127.0.0.1:2181 zookeeper.root=scheduler ``` 其中，zookeeper.quorum 表示 ZooKeeper 服务器的IP地址和端口号，zookeeper.root 表示 DolphinScheduler 在 ZooKeeper 中注册的根目录。 7. 配置 Hadoop、Spark 和 Flink 在 DolphinScheduler 的 conf 目录下，编辑 resource.properties 文件，设置 Hadoop、Spark 和 Flink 的相关配置信息： ```bash # Hadoop hdfs.url=hdfs://127.0.0.1:9000 hadoop.home=/opt/hadoop-2.7.7 # Spark spark.home=/opt/spark-2.4.7 # Flink flink.home=/opt/flink-1.9.3 flink.yarn.conf.dir=/opt/hadoop-2.7.7/etc/hadoop/ ``` 其中，hdfs.url 表示 Hadoop 的 HDFS 地址，hadoop.home 表示 Hadoop 的安装路径，spark.home 表示 Spark 的安装路径，flink.home 表示 Flink 的安装路径，flink.yarn.conf.dir 表示 Flink 运行在 YARN 模式时需要的配置文件路径。 8. 启动服务 在 DolphinScheduler 的 bin 目录下，执行以下命令，启动 DolphinScheduler： ```bash sh dolphinscheduler-daemon.sh start all ``` 其中，all 表示启动所有服务，也可以指定启动单个服务，如 masterserver、workerserver、alertserver、apiserver 和 logger-server。 9. 访问 WebUI 启动完成后，在浏览器中输入 http://127.0.0.1:12345/ 进入 DolphinScheduler 的 WebUI。 以上就是 DolphinScheduler 3.1.4 的部署流程。通过以上步骤，您可以将 DolphinScheduler 部署到本地或远程服务器，并开始使用和管理您的任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gaojingsong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值