centos7部署ds

 1.安装jdk8

使用的jdk版本：jdk-8u341-linux-x64.tar.gz

解压：

sudo mkdir /usr/lib/jvm
sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/lib/jvm

配置环境变量：

sudo vim ~/.bashrc
 

#set oracle jdk environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_341
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

 使配置文件生效：

source ~/.bashrc

java -version
javac -version

到此，java环境配置完成。

2.安装apache-zookeeper-3.7.1-bin.tar.gz

3.配置用户免密及权限

创建部署用户，并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例。

上传软件包：apache-dolphinscheduler-2.0.6-bin.tar.gz

解压到当前目录：

sudo tar -zxvf apache-dolphinscheduler-2.0.6-bin.tar.gz

sudo apt-get install build-essential

1.备份source.list文件，防止弄坏下载源 

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

2.更换国内源

sudo vim /etc/apt/sources.list

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

第一行添加镜像源

deb http://archive.ubuntu.com/ubuntu/ trusty main universe restricted multiverse

然后保存退出，更改后的sources.list文件如下：

 

3.更新源

sudo apt-get update

4.安装yum 

​

 依次安装以下依赖：

之后即可成功安装yum。

2.安装进程树psmisc

centos中默认已经安装： 

 安装命令：sudo yum -y install psmisc

• 进程树分析
  • macOS安装pstree
  • Fedora/Red/Hat/CentOS/Ubuntu/Debian安装psmisc
• yum安装失败
• 采用apt-get安装后成功：
• sudo apt-get install psmisc

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

ubuntu使用如下：echo dolphinscheduler:dolphinscheduler | chpasswd

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin

配置机器SSH免密登陆
由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现SSH免密登陆。配置免密登陆的步骤如下

su dolphinscheduler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

由于配置的为伪集群版本：

因此此步骤可以忽略：

部署zookeeper：

sudo tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz

移动到/opt目录下：

启动zookeeper
进入 zookeeper 的安装目录，将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg，并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper

​

启动：

​ # 启动 zookeeper
./bin/zkServer.sh start

​

启动失败，需要修改配置，加入java环境配置。

注意：在centos7中能够正常启动成功。 

修改相关配置（环境搭建的难点）

完成基础环境的准备后，需要根据你的机器环境修改配置文件。配置文件可以在目录 bin/env 中找到，他们分别是 并命名为 install_env.sh 和 dolphinscheduler_env.sh。

修改 install_env.sh 文件

文件 install_env.sh 描述了哪些机器将被安装 DolphinScheduler 以及每台机器对应安装哪些服务。您可以在路径 bin/env/install_env.sh 中找到此文件，配置详情如下。

配置：所有部署ds节点的ip或者主机名：

 修改后：

master服务ip或主机：

VM-16-10-centos

worker:

报警服务：

api服务：

 ds安装目录：

保持默认：

修改 dolphinscheduler_env.sh 文件

文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置：

• DolphinScheduler 的数据库配置，详细配置方法见初始化数据库
• 一些任务类型外部依赖路径或库文件，如 JAVA_HOME 和 SPARK_HOME都是在这里定义的
• 注册中心zookeeper
• 服务端相关配置，比如缓存，时区设置等

如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改 JAVA_HOME、注册中心和数据库相关配置。

配置java环境：

 

修改数据库配置：

修改为mysql：

其他配置保持默认即可。

初始化数据库：

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';

下载jar包：

mysql-connector-java-8.0.16.jar

并移动到 DolphinScheduler 的每个模块的 libs 目录下 其中包括 api-server/libs/ 和 alert-server/libs 和 master-server/libs 和 worker-server/libs 和 tools/libs。

执行：

bash tools/bin/upgrade-schema.sh

报错：在mysql连接字符串中加入如下：

&useSSL=false 

执行最终部署文件：

启动 DolphinScheduler

使用上面创建的部署用户运行以下命令完成部署，部署后的运行日志将存放在 logs 文件夹内

bash ./bin/install.sh

启动成功：

启停服务:

# 一键停止集群所有服务
bash ./bin/stop-all.sh

# 一键开启集群所有服务
bash ./bin/start-all.sh

# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server

# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server

# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server

# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server

服务启动成功：

登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

注意：zk使用的root用户启动

ds使用ds用户启动。