伪分布式部署 DolphinScheduler

1.添加用户
useradd dolphinscheduler
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin
#这里我用的是官网提供的3.1.9版本
2.配置jdk
su dolphinscheduler
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
#1.
export JAVA_HOME=/opt/apache-dolphinscheduler-3.1.9-bin/jdk1.8.0_321
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

3.启动zookeeper
 ./bin/zkServer.sh start

#2.创建mysql库
mysql -u root  -p
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
mysql>  flush privileges;
#3将mysql驱动放置于各个目录
api-server/libs 
alert-server/libs
master-server/libs 
worker-server/libs

#4配置脚本
vi /opt/apache-dolphinscheduler-3.1.9-bin/bin/env/install_env.sh
# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# Due to the master, worker, and API server being deployed on a single node, the IP of the server is the machine IP or localhost
ips="localhost"
sshPort="22"
masters="localhost"
workers="localhost:default"
alertServer="localhost"
apiServers="localhost"

# DolphinScheduler installation path, it will auto-create if not exists
installPath=/opt/apache-dolphinscheduler-3.1.9-bin/dolphinscheduler

# Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUser="dolphinscheduler"



##
vi /opt/apache-dolphinscheduler-3.1.9-bin/bin/env/dolphinscheduler_env.sh
# 数据库连接配置
export DATABASE="mysql"
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_SHARDINGSPHERE_ENABLED=true
export SPRING_SHARDINGSPHERE_DATASOURCE_DB1_DRIVER_CLASS_NAME="com.mysql.jdbc.Driver"
export SPRING_SHARDINGSPHERE_DATASOURCE_DB1_JDBC_URL="jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true"
export SPRING_SHARDINGSPHERE_DATASOURCE_DB1_USERNAME="dolphinscheduler "
export SPRING_SHARDINGSPHERE_DATASOURCE_DB1_PASSWORD="123456"
export SPRING_DATASOURCE_DRIVER_CLASS_NAME="com.mysql.jdbc.Driver"
export SPRING_DATASOURCE_URL="jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true"
export SPRING_DATASOURCE_USERNAME="dolphinscheduler "
export SPRING_DATASOURCE_PASSWORD="123456"

# 注册中心配置
export REGISTRY_TYPE=zookeeper
export REGISTRY_ZOOKEEPER_CONNECT_STRING="localhost:2181"

#数据库初始化
bash tools/bin/upgrade-schema.sh

#安装
./bin/install.sh

web界面
默认用户名密码
admin
dolphinscheduler123

 

 添加seatunnel并把想要的连接器放进lib下

 

添加配置,重新启动即可,seatunnel就可正常使用了

vi dolphinscheduler_env.sh

export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/apache-dolphinscheduler-3.1.9-bin/apache-seatunnel-2.3.5}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DolphinScheduler是一款分布式的开源工作流任务调度系统,支持DAG工作流,具有高可用、高扩展性等特点。在实际使用中,我们需要对DolphinScheduler进行部署和配置,以保证其正常运行。本文将介绍自动化部署DolphinScheduler的方法。 1. 准备工作 在进行自动化部署之前,我们需要准备以下工作: 1)服务器环境:我们需要至少2台服务器,一台用于部署DolphinScheduler的Master节点,另一台用于部署Worker节点。 2)Java环境:DolphinScheduler需要Java环境支持,因此我们需要在服务器上安装Java环境。 3)数据库环境:DolphinScheduler支持MySQL、Oracle等多种数据库,我们需要在服务器上安装相应的数据库,并创建相应的数据库和用户。 4)编译环境:我们需要在一台服务器上安装Maven和Git等工具,用于下载DolphinScheduler源码并进行编译。 2. 自动化部署 在完成准备工作后,我们可以开始进行自动化部署: 1)下载DolphinScheduler源码 我们可以使用Git工具下载DolphinScheduler源码: ``` git clone https://github.com/apache/incubator-dolphinscheduler.git ``` 2)编译打包 进入DolphinScheduler源码目录,执行以下命令进行编译打包: ``` mvn clean package -Dmaven.test.skip=true ``` 编译完成后,可以在target目录下找到打包好的DolphinScheduler压缩包。 3)解压缩压缩包 将DolphinScheduler压缩包解压缩到Master服务器和Worker服务器上的相应目录。 4)修改配置文件 进入解压缩后的DolphinScheduler目录,修改conf目录下的配置文件,配置数据库连接等参数。 5)启动服务 在Master服务器上执行以下命令启动Master节点服务: ``` bin/dolphinscheduler-daemon.sh start master-server ``` 在Worker服务器上执行以下命令启动Worker节点服务: ``` bin/dolphinscheduler-daemon.sh start worker-server ``` 6)访问DolphinScheduler 访问Master服务器上的DolphinScheduler服务,可以使用浏览器访问http://Master_IP:12345/dolphinscheduler,进入DolphinScheduler的Web界面。 3. 总结 通过自动化部署DolphinScheduler,我们可以快速部署和配置DolphinScheduler,提高部署效率和可靠性。在实际使用中,我们可以根据实际需求进行不同的配置和优化,以达到更好的效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值