Dolphin Scheduler 调研日记（一）：环境准备

先发一个官方的链接

https://dolphinscheduler.apache.org/zh-cn/docs/1.2.0/user_doc/standalone-deployment.html

1、基础软件就位

这里用的单机模式，必须的软件工具有

• PostgreSQL (8.2.15+) or Mysql (5.7系列) : 两者任选其一即可
• JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
• ZooKeeper (3.4.6+) ：必装

1.1 解决 JDK的问题

先解决JDK的问题，这里因为用的Ubuntu的操作系统，版本 16.04，属于 Dolphin Scheduler支持的 Ubuntu 的最低版本，该版本自带了 Java 的环境，因此，需要找到 Java 的安装目录，后面的步骤需要用到：

先用which 语法定位 java的位置

which java

得到的结果为

/usr/lib/java

这里位置的 java 不是一个目录，是一个软连接，因此，需要找到软连接对应的位置

在该目录下执行

ls -l /usr/lib/java

或者

 ls /usr/lib/java -all

结果如下：

lrwxrwxrwx 1 root root 22 8月  13  2019 java -> /etc/alternatives/java

这里找到的还是一个软连接，再次使用  ls -l 命令

lrwxrwxrwx 1 root root 46 8月  13  2019 java -> /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java

这样的话，java 的位置就找到了

或者也可以用这个方法

which javac

返回

/usr/bin/javac

然后

file /usr/bin/javac

返回

/usr/bin/javac: symbolic link to `/etc/alternatives/javac'

然后

file /etc/alternatives/javac

返回

/etc/alternatives/javac: symbolic link to `/usr/lib/jvm/java-6-sun/bin/javac'

然后

file /usr/lib/jvm/java-6-sun/bin/javac

返回

/usr/lib/jvm/java-6-sun/bin/javac: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.2.5, not stripped

到此为止，说明路径是  /usr/lib/jvm/java-6-sun/bin/

找到Java的安装目录之后，就可以在 /etc/profile 中设置环境变量了

注意：环境变量修改之后要用  resource /etc/profile  命令生效
用 echo $JAVA_HOME 检查修改后的环境变量是否生效

1.2 安装Mysql

这个基本都有现成的博文作为参照，列举一下大致的步骤

解压 --> 创建Data目录 --> 创建mysql用户，设置相关目录的owner --> 配置 my.cnf 配置文件 --> 初始化安装（同时获取密码）

--> 初始密码登录，进行密码修改 --> 允许远程连接 --> 设置开机自启动 --> flush privileges --> 退出MySQL

注意几个问题：

设置目录的权限（用到递归）： chown mysql:mysql -R 【mysql  root path】

配置MySQL的环境变量不是必须的，不过设置好了操作会方便一些

mysql的状态查看：

systemctl status mysql.service

类似的用法还有：

systemctl status nginx.service   查看nginx的运行状态

MySQL启动失败问题解决：

切换Linux用户为 mysql，在mysql/bin 目录下执行如下命令：

./mysqld start --user=mysql

1.3 安装 Zookeeper

1、按照教程操作即可，需要注意的是，zookeeper从3.5开始，Zookeeper AdminServer 默认使用8080端口，如果发生端口冲突，这需要在配置文件 zoo.cfg 中设置一下，比如：  admin.serverPort=9001

2、启动的时候遇到了一个问题，找不到如下的类：

org.apache.zookeeper.server.quorum.QuorumPeerMain

原因：从3.5.5版本开始，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而不带bin的tar.gz的包里面是只是源码的包无法直接使用。

这个问题比较恶心，需要注意

zookeeper服务的启停：bin目录下

sh ./zkServer start
sh ./zkServer stop

1.4 Python工具

版本要 3.X的版本，要装 pip 工具和 kazoo

安装 pip 和 kazoo：

#centOS请使用
sudo yum -y install python-pip;  
#ubuntu请使用 
sudo apt-get install python-pip
#安装 kazoo
sudo pip install kazoo;

注意：如果yum没找到python-pip，也可以通过下面方式安装

sudo curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
sudo python get-pip.py  # 如果是python3，使用sudo python3 get-pip.py 
#然后
sudo pip install kazoo;

版本查看：

python --version

pip --version

---

踩到的坑：

1、不知道Ubuntu自带的Java装在哪里了

2、MySQL安装的过程中，目录权限的问题未正确处理好，期间对 【mysql root path】的 owner 进行了变更，但变更不彻底，引出了Bug，错误日志记录如下：

[ERROR] InnoDB: The innodb_system data file 'ibdata1' must be writable
[ERROR] InnoDB: Cannot open '/home/kotei/AR_Map/mysql-5.7.23-linux-glibc2.12-x86_64/data/ib_buffer_pool' for reading: Permission denied
[ERROR] Failed to create file(file: './auto.cnf', errno 13)

3、zookeeper的压缩包需要下载带有 bin 的包

---

收获：

1、用which 命令和 file 命令对软连接进行追踪，找到Java的安装目录

2、权限问题是Linux系统安装工具的时候很容易出现的问题，需要注意