Apache DolphinScheduler 使用文档（2-3/8）：集群规划及环境准备

本文章经授权转载，原文链接：

https://blog.csdn.net/MiaoSO/article/details/104770720

目录

2. 集群规划

• 2.1 集群配置

• 2.2 软件版本

• 2.3 集群规划

3. 环境准备

• 3.1 基础软件准备(必装项请自行安装)

• 3.2 pip、kazoo 安装

• 3.3 创建部署用户

• 3.4 对部署用户配置免密

• 3.5 dolphinscheduler 安装包下载

2. 集群规划

2.1 集群配置

略

2.2 软件版本

软件	版本
CDH	Cloudera 6.2.0
dolphinscheduler	1.2.0

2.3 集群规划

注：

• 以下所有节点均已部署 CDH 版本大数据相关组件。

• 若为 Apache 版本，则需要将大数据组件的环境变量设为全局，或者在各个租户下添加环境变量和线上环境的配置参数，防止出现 sudo -u $tenant 无法调用大数据组件的情况。

hostnameMasterServerWorkerServer/LoggerServerAlertServerApiServerUItest01
√


test02√√


test03√√√√√

3. 环境准备

3.1 基础软件准备(必装项请自行安装)

Mysql (5.7+) : 必装
JDK (1.8+) : 必装
ZooKeeper (3.4.6+) ：必装
Hadoop (2.6+) ：选装， 如果需要使用到资源上传功能，MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上)
Hive(1.2.1) : 选装，hive任务提交需要安装
Spark (1.x,2.x) : 选装，Spark任务提交需要安装
PostgreSQL (8.2.15+) : 选装，PostgreSQL PostgreSQL存储过程需要安装
注意：DolphinScheduler 本身不依赖 Hadoop、Hive、Spark、PostgreSQL,仅是会调用他们的 Client，用于对应任务的运行

3.2 pip、kazoo 安装

在主服务器（下发DolphinScheduler的机器）上执行以下操作：

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
sudo python get-pip.py
pip --version
pip install kazoo

3.3 创建部署用户

在所有部署服务器上创建部署用户，并配置 sudo 权限（worker 服务是以 sudo -u {linux-user} 方式来执行作业）

# 创建部署用户
userdel -r dscheduler
useradd dscheduler && echo dscheduler | passwd --stdin dscheduler
# 赋予 sudo 权限
chmod 640 /etc/sudoers
vim /etc/sudoers
# 大概在100行，在root下添加如下
dscheduler  ALL=(ALL)       NOPASSWD: NOPASSWD: ALL
# 并且需要注释掉 Default requiretty 一行。如果有则注释，没有没有跳过
#Default requiretty

3.4 对部署用户配置免密

dolphinscheduler 一键部署原理：在 主机器（下载安装包的机器） 修改好配置文件，通过 scp 方式将后端安装包发送到各个机器，并通过 ssh 方式在部署机器上启动相关服务。故此处，需要给 主机器上的 部署用户（dscheduler） 配置到 各个服务器的部署用户（dscheduler） 的免密权限。

su - dscheduler
ssh-keygen -t rsa
cd ~/.ssh && cp id_rsa.pub authorized_keys
chmod 700 authorized_keys
#ssh-copy-id hostname
ssh-copy-id localhost

3.5 dolphinscheduler 安装包下载

在主服务器上执行以下操作：

# 创建安装目录
#sudo mkdir /u01/dolphinscheduler && sudo chown -R dscheduler:dscheduler /u01/dolphinscheduler && sudo ln -s /u01/dolphinscheduler /opt/dolphinscheduler
sudo mkdir /opt/dolphinscheduler && sudo chown -R dscheduler:dscheduler /opt/dolphinscheduler

# 下载后端安装包（dolphinscheduler-backend）
wget http://mirror.bit.edu.cn/apache/incubator/dolphinscheduler/1.2.0/apache-dolphinscheduler-incubating-1.2.0-dolphinscheduler-backend-bin.tar.gz -P /opt/dolphinscheduler
# 下载前端安装包（dolphinscheduler-ui）

文章目录：

DS 1.2.0 使用文档（1/8）：架构及名词解释
DS 1.2.0 使用文档（2-3/8）：集群规划及环境准备
DS 1.2.0 使用文档（4/8）：软件部署
DS 1.2.0 使用文档（5/8）：使用与测试
DS 1.2.0 使用文档（6/8）：任务节点类型与任务参数设置
DS 1.2.0 使用文档（7/8）：系统参数及自定义参数
DS 1.2.0 使用文档（8/8）：附录