史上最详细的Apache DolphinScheduler 安装文档

Apache DolphinScheduler 安装文档
注：当前以Root用户安装

一、host配置(ALLNode)

# vi /etc/hosts

192.168.121.x   ip-192.168.121-x0.cn-northwest-1.compute.internal
192.168.121.x   ip-192.168.121-x.cn-northwest-1.compute.internal
192.168.121.x  ip-192.168.121-x.cn-northwest-1.compute.internal

二、免密配置

2.1 设置ssh免秘钥登录(主节点)
实现name节点与各data节点无密码登录

# ssh-keygen    //一路回车到完成
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# chmod 600 ~/.ssh/authorized_keys
# scp -r ~/.ssh/authorized_keys 主机名:~/.ssh/   (发送到其他机器)

Scp 遇到问题:

Permission denied (publickey,gssapi-with-mic,gssapi-keyex)

解决办法：
修改目标服务器中 /etc/ssh/sshd_config 中的参数：
将PasswordAuthentication no中的“no”改为yes，如果有注释，将注释去掉
之后service sshd restart 重启sshd服务就可以了。

三、zookeeper集群配置

3.1、解压

# tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz

3.2、 更改目录名

# mv apache-zookeeper-3.5.6-bin zookeeper-3.5.6

3.3、修改zoo.cfg

# cd /opt/zookeeper-3.5.6/conf
# mv zoo_sample.cfg zoo.cfg

3.4、zoo.cfg配置

#dataDir=/data/zookeeper/data
#server.0=192.168.121.x:2888:3888
#server.1=192.168.121.x:2888:3888
#server.2=192.168.121.x:2888:3888

3.5、myid 配置

#cd /data/zookeeper/data
#touch myid
#echo 0 >myid (每台机器放自己的数字)

3.6、环境变量配置

#vi /etc/profile
#export ZK_HOME=/opt/zookeeper-3.5.6
#export PATH=$PATH:$ZK_HOME/bin

3.7、zk 操作（没问题先stop）

#zkServer.sh start（先启动）
#zkServer.sh status（看状态）
#zkServer.sh stop (停止)
#zkServer.sh restart（重启）

四、JAVA环境搭建

4.1、解压

#cd /usr/local
#mkdir jdk
#tar -zxvf jdk-8u112-linux-x64.tar.gz -C /usr/local/jdk

4.2、配置环境变量

#vi /etc/profile
#export JAVA_HOME=/usr/local/jdk/jdk1.8.0_112
#export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
#export PATH=$PATH:$ZK_HOME/bin:$JAVA_HOME/bin

4.3、替换OpenJDK

#cd /usr/bin/
#ln -s -f /usr/local/jdk/jdk1.8.0_112/jre/bin/java
#ln -s -f /usr/local/jdk/jdk1.8.0_112/bin/javac
#source /etc/profile

4.4、校验

# java -version

五、Mysql配置

5.1、创建库

#CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

5.2、授权

#GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
#GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';
#flush privileges;

六、Apache dolphinscheduler安装

6.1、解压

#tar -zxvf apache-dolphinscheduler-1.3.8-SNAPSHOT-bin.tar.gz 

6.2、更名

#mv apache-dolphinscheduler-1.3.8-SNAPSHOT-bin apache-dolphinscheduler-bin

6.3、配置install_config.conf

#cd /opt/apache-dolphinscheduler-bin/conf/config
#vi install_config.conf

6.4、启动
注意：zk一定要启动,mysql一定要授权连接成功

#sh install.sh

七、Python环境安装

7.1、下载

#wget https://www.python.org/ftp/python/3.8.5/Python-3.8.5.tgz

7.2、解压

#tar -zxvf  Python-3.8.5.tgz

7.3、创建空文件夹，存放python3

#mkdir /opt/python3

7.4、执行配置文件，编译，编译安装

#cd Python-3.8.5
#./configure --prefix=/opt/python3
# yum -y install mysql-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
#libffi-devel安装
#wget http://www.zlib.net/ zlib-1.2.11.tar.gz
#tar -zxvf zlib-1.2.11.tar.gz
#cd zlib-1.2.11/
#./configure --prefix=/usr/local/zlib
#make
#make check
#make install
#echo "/usr/local/zlib/lib" >> /etc/ld.so.conf 
#ldconfig -v
#make && make install
如果 ./configure 报错
#yum install gcc

7.5、建立软连接

#ln -s /opt/python3/bin/python3.8 /usr/bin/python3
#ln -s /opt/python3/bin/pip3.8 /usr/bin/pip3
#ln -s /opt/python3/bin/pip3.8 /usr/bin/pip

7.6、验证

#python3
#pip3 –-version

报错
“_ctypes”模块丢失

yum install libffi-devel -y

重新进入python目录

make &make install 
pip 报错 HTTPXXX from  urllib.request
cd /opt/Python-3.8.5/Modules/
vi Setup  注释打开 保存 重新编译python

Pip 安装

#wget --no-check-certificate  https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
#tar -zxvf pip-8.0.2.tar.gz
#cd pip-8.0.2
#python3 setup.py build
#python3 setup.py install
setuptools 安装
#wget --no-check-certificate  https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26
#tar -zxvf setuptools-19.6.tar.gz
#cd setuptools-19.6.tar.gz
#python3 setup.py build
#python3 setup.py install
更新pip
Python3 -m pip install --upgrade pip -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

镜像源配置

方法一：

#pip config --global set  global.index-url https://mirrors.aliyun.com/pypi/simple/

方法二：

cd /etc

查找pip.conf

Vi pip.conf
[global]
index-url = http://pypi.douban.com/simple 
trusted-host = pypi.douban.com
disable-pip-version-check = true

集成linux python 环境大坑总结：

python环境源码配置

vi /opt/dolphinscheduler/conf/env/dolphinscheduler_env.sh
export PYTHON_HOME=/root/anaconda3/envs/python3.7
common. Properties（由于源码识别不到相对路径）
dolphinscheduler.env.path=/opt/dolphinscheduler/conf/env/dolphinscheduler_env.sh

源码环境切换问题修复

AbstractCommandExecutor.java

租户问题
租户一定是linux 现有的用户，不然无法创建！！！
目前用root 执行时会

 sudo -E -u  root