Apache DolphinScheduler1.3.5 分布式（Cluster）部署遇到的坑（补充官网）

Apache DolphinScheduler部署遇到的坑（补充官网）

分布式易扩展的可视化DAG工作流任务调度系统

官网地址：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/cluster-deployment.html
文章大部分内容参照了官方文档。

此次参考官方文档部署DolphinScheduler，遇到了一些小问题，感觉官网没有说清楚或者容易出问题的地方，记录下来防止后来的兄弟，再踩坑。

1.如果使用mysql作为数据源不要忘记将驱动包放到DolphinScheduler的lib目录下。
2.installPath安装目录，部署的当前用户，一定要有写入权限，否则会安装失败。
3.一键部署前，别忘了启动zookeeper,否则web页面加载不出来。
4.web页面的访问端口号是：1234。
5.用户名是admin，初始密码是:dolphinscheduler123,起初不知道密码是什么，连接数据库找到密码密文，MD5在线解密，解不出来，后来想着可能好linux用户密码一样，就试出来了。
(后来在用户手册发现，快速上手中有提到账号密码)

问题补充：安装好之后发现
DolphinScheduler里Zookeeper监控页面里显示的数据全是-1
解决方法，查看我的另一篇文章：
https://blog.csdn.net/weixin_52918377/article/details/116226860?spm=1001.2014.3001.5501

1、环境准备

• PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可, 如MySQL则需要JDBC Driver 5.1.47+
• JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
• ZooKeeper (3.4.6+) ：必装
• Hadoop (2.6+) or MinIO ：选装，如果需要用到资源上传功能，可以选择上传到Hadoop or MinIO上

注意：DolphinScheduler本身不依赖Hadoop、Hive、Spark,仅是会调用他们的Client，用于对应任务的提交。

2、1.3.5安装包下载

https://www.apache.org/dyn/closer.cgi/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz

 创建部署目录,部署目录请不要创建在/root、/home等高权限目录 
 mkdir -p /opt/dolphinscheduler; cd /opt/dolphinscheduler;
 解压缩 
 tar -zxvf apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz -C /opt/dolphinscheduler;
 mv apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin  dolphinscheduler-bin

3、创建用户

• 在所有部署调度的机器上创建部署用户，并且一定要配置sudo免密。假如我们计划在ds1,ds2,ds3,ds4这4台机器上部署调度，首先需要在每台机器上都创建部署用户

# 创建用户需使用root登录，设置部署用户名，请自行修改，后面以dolphinscheduler为例
useradd dolphinscheduler;

# 设置用户密码，请自行修改，后面以dolphinscheduler123为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置sudo免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers
 注意：
 - 因为是以 sudo -u {linux-user} 切换不同linux用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。
 - 如果发现/etc/sudoers文件中有"Default requiretty"这行，也请注释掉
 - 如果用到资源上传的话，还需要在`HDFS或者MinIO`上给该部署用户分配读写的权限

4、配置hosts映射和ssh打通及修改目录权限

• 以第一台机器(hostname为ds1)作为部署机，在ds1上配置所有待部署机器的hosts, 在ds1以root登录

  vi /etc/hosts
  
  #add ip hostname
  192.168.xxx.xxx ds1
  192.168.xxx.xxx ds2
  192.168.xxx.xxx ds3
  192.168.xxx.xxx ds4
  

  注意：请删掉或者注释掉127.0.0.1这行

• 同步ds1上的/etc/hosts到所有部署机器

  for ip in ds2 ds3;     #请将此处ds2 ds3替换为自己要部署的机器的hostname
  do
      sudo scp -r /etc/hosts  $ip:/etc/          #在运行中需要输入root密码
  done
  

  备注：当然 通过sshpass -p xxx sudo scp -r /etc/hosts $ip:/etc/就可以省去输入密码了

  centos下sshpass的安装：

  1. 先安装epel

     yum install -y epel-release

     yum repolist

  2. 安装完成epel之后，就可以按照sshpass了

     yum install -y sshpass

• 在ds1上，切换到部署用户并配置ssh本机免密登录

   su dolphinscheduler;
  
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 600 ~/.ssh/authorized_keys
  

注意：正常设置后，dolphinscheduler用户在执行命令ssh localhost 是不需要再输入密码的

• 在ds1上，配置部署用户dolphinscheduler ssh打通到其他待部署的机器

  su dolphinscheduler;
  for ip in ds2 ds3;     #请将此处ds2 ds3替换为自己要部署的机器的hostname
  do
      ssh-copy-id  $ip   #该操作执行过程中需要手动输入dolphinscheduler用户的密码
  done
  # 当然 通过 sshpass -p xxx ssh-copy-id $ip 就可以省去输入密码了
  

• 在ds1上，修改目录权限，使得部署用户对dolphinscheduler-bin目录有操作权限

  sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin
  

5、数据库初始化

• 进入数据库，默认数据库是PostgreSQL，如选择MySQL的话，后续需要添加mysql-connector-java驱动包到DolphinScheduler的lib目录下，这里以MySQL为例

mysql -h192.168.xx.xx -P3306 -uroot -p

• 进入数据库命令行窗口后，执行数据库初始化命令，设置访问账号和密码。注: {user} 和 {password} 需要替换为具体的数据库用户名和密码

   mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
   mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'Ds123@!m&';
   mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'user'@'localhost' IDENTIFIED BY 'Ds123@!m&';
   mysql> flush privileges;

• 创建表和导入基础数据

  • 修改 conf 目录下 datasource.properties 中的下列配置

    vi conf/datasource.properties
  

  • 如果选择 MySQL，请注释掉 PostgreSQL 相关配置(反之同理), 还需要手动添加 [ mysql-connector-java 驱动 jar ] 包到 lib 目录下，这里下载的是mysql-connector-java-5.1.47.jar，然后正确配置数据库连接相关信息

    #postgre
    #spring.datasource.driver-class-name=org.postgresql.Driver
    #spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
    # mysql
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    # 需要修改ip
    spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true 
    #需要修改为上面的{user}值
    spring.datasource.username=dolphinscheduler						
    #需要修改为上面的{password}值
    spring.datasource.password=Ds123@!m&						
  

  • 修改并保存完后，执行 script 目录下的创建表及导入基础数据脚本

  sh script/create-dolphinscheduler.sh
  

注意: 如果执行上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_HOME 及 PATH 变量

6、修改参数

• 修改 conf/env 目录下的 dolphinscheduler_env.sh 环境变量(以相关用到的软件都安装在/opt/soft下为例)

  export HADOOP_HOME=/opt/bigdata/hadoop-3.1.3
  export HADOOP_CONF_DIR=/opt/bigdata/hadoop-3.1.3/etc/hadoop
  export SPARK_HOME1=/opt/bigdata/spark
  export SPARK_HOME2=/opt/bigdata/spark
  #export PYTHON_HOME=
  export JAVA_HOME=/opt/bigdata/jdk1.8.0_212
  export HIVE_HOME=/opt/bigdata/hive
  export FLINK_HOME=/opt/bigdata/flink-yarn
  #export DATAX_HOME=/opt/soft/datax/bin/datax.py
  
  export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH
  
      ```
  
   `注: 这一步非常重要,例如 JAVA_HOME 和 PATH 是必须要配置的，没有用到的可以忽略或者注释掉`
  

• 将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/opt/soft/java 为例)

  sudo ln -s /opt/soft/java/bin/java /usr/bin/java
  

• 修改一键部署配置文件 conf/config/install_config.conf中的各参数，特别注意以下参数的配置

7、一键安装部署

• 切换到部署用户dolphinscheduler，然后执行一键部署脚本

  sh install.sh

  注意：
  第一次部署的话，在运行中第3步`3,stop server`出现5次以下信息，此信息可以忽略
  sh: bin/dolphinscheduler-daemon.sh: No such file or directory
  

• 脚本完成后，会启动以下5个服务，使用jps命令查看服务是否启动(jps为java JDK自带)

    MasterServer         ----- master服务
    WorkerServer         ----- worker服务
    LoggerServer         ----- logger服务
    ApiApplicationServer ----- api服务
    AlertServer          ----- alert服务

如果以上服务都正常启动，说明自动部署成功

部署成功后，可以进行日志查看，日志统一存放于logs文件夹内

 logs/
    ├── dolphinscheduler-alert-server.log
    ├── dolphinscheduler-master-server.log
    |—— dolphinscheduler-worker-server.log
    |—— dolphinscheduler-api-server.log
    |—— dolphinscheduler-logger-server.log

8、登录系统

• 访问前端页面地址,接口ip(自行修改) http://192.168.xx.xx:12345/dolphinscheduler

  

注意：用户名为admin 密码为：dolphinscheduler123

9、启停服务

• 一键停止集群所有服务

  sh ./bin/stop-all.sh

• 一键开启集群所有服务

  sh ./bin/start-all.sh

• Master

sh ./bin/dolphinscheduler-daemon.sh start master-server
sh ./bin/dolphinscheduler-daemon.sh stop master-server

• Worker

sh ./bin/dolphinscheduler-daemon.sh start worker-server
sh ./bin/dolphinscheduler-daemon.sh stop worker-server

• Api

sh ./bin/dolphinscheduler-daemon.sh start api-server
sh ./bin/dolphinscheduler-daemon.sh stop api-server

• Logger

sh ./bin/dolphinscheduler-daemon.sh start logger-server
sh ./bin/dolphinscheduler-daemon.sh stop logger-server

• Alert

sh ./bin/dolphinscheduler-daemon.sh start alert-server
sh ./bin/dolphinscheduler-daemon.sh stop alert-server

---

sh ./bin/dolphinscheduler-daemon.sh start worker-server
sh ./bin/dolphinscheduler-daemon.sh stop worker-server

- Api

```shell
sh ./bin/dolphinscheduler-daemon.sh start api-server
sh ./bin/dolphinscheduler-daemon.sh stop api-server

• Logger

sh ./bin/dolphinscheduler-daemon.sh start logger-server
sh ./bin/dolphinscheduler-daemon.sh stop logger-server

• Alert

sh ./bin/dolphinscheduler-daemon.sh start alert-server
sh ./bin/dolphinscheduler-daemon.sh stop alert-server

---