dolphinscheduler3.x本地启动

一、 基础软件安装(必装项请自行安装)

  • PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
  • JDK (1.8+) : 必装
  • ZooKeeper (3.4.6+) :必装

在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh

  • Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
  • Maven: v3.5+,配阿里云仓库地址即可
  • Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)

二、下载源码到本地

https://github.com/apache/dolphinscheduler.git

三、切换到指定分支,例如 3.0.0-xxx

        

四、切换到 dolphinscheduler-ui 目录下执行 npm install

      

        成功后提示如下:

        

五、跳过测试编译

    

     

         编译成功后提示如下 ​​​​​​​

六、执行数据库脚本

-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`;

        

 七、将父级 pom 中的mysql 依赖 scope 注释

        

         刷新pom依赖

八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置

driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8

  九、启动本地 ZooKeeper 

     

 十、启动程序

(1)启动前端 npm run dev

 (2)启动 MasterServer

(3)启动 WorkerServer

(4)启动ApiApplicationServer

十一、访问前端页面

   http://localhost:3000/   

admin  dolphinscheduler123

======================================================================== 

十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置

(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml

(2)修改 dolphinscheduler-common 模块下的 common.properties 配置

需要修改的参数有 

 # 服务器上按照后软件的位置

data.basedir.path=/data/software/dolphins3

# 修改 为 HDFS 文件服务器存储模式

resource.storage.type=HDFS


# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3

# hdfs 集群通信url

fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020

# yarn 资源管理器ips

yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx

配置好之后就可以新建文件以及上传资源了

十三、源码打包,供服务器部署

# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease

  • 9
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 14
    评论
评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HuntFalcon

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值