【部署】Apache DolphinScheduler(海豚) 伪集群部署(Pseudo-Cluster)
Standalone极速体验版
Standalone 仅适用于 DolphinScheduler 的快速体验.
如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用Standalone方式体检。如果你想体验更完整的功能,或者更大的任务量,推荐使用伪集群部署。如果你是在生产中使用,推荐使用集群部署或者kubernetes
注意: Standalone仅建议20个以下工作流使用,因为其采用 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定
DolphinScheduler 伪集群部署
伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下master、worker、api server、logger server都在同一台机器上
前置准备工作
伪分布式部署 DolphinScheduler 需要有外部软件的支持
- JDK:下载JDK (1.8+),并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在,可以跳过这步。
- 二进制包:在下载页面下载 DolphinScheduler 二进制包
- 数据库:PostgreSQL (8.2.15+) 或者 MySQL (5.7+),两者任选其一即可,如 MySQL 则需要 JDBC Driver 8.0.16
- 注册中心:ZooKeeper (3.4.6+)
注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark,但如果你运行的任务需要依赖他们,就需要有对应的环境支持
本地部署环境
- 虚拟软件:Vmware15 安装指南
- 操作系统:Ubuntu 11.3.0-1ubuntu1~22.04 安装指南
- JDK:jdk-8u231-linux-x64 安装指南
- Zookeeper:apache-zookeeper-3.5.7-bin 安装指南
- DolphinScheduler:apache-dolphinscheduler-2.0.5-bin 下载地址
- 数据库:mysql Ver 8.0.31-0ubuntu0.22.04.1 for Linux on x86_64 ((Ubuntu)) 安装指南
准备 DolphinScheduler 启动环境
配置用户免密及权限
- 官网原话: 因为任务执行服务是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业,所以部署用户需要有 sudo 权限,而且是免密的。 原话出处
- 我的选择: 我使用的root用户,不需要这一步。 Ubuntu登录root
配置机器SSH免密登陆
由于安装的时候需要向机器发送资源,所以要求机器能实现SSH免密登陆。配置免密登陆的步骤如下
## su dolphinscheduler 我用root不需要这步
ssh-keygen