dolphinscheduler2.0.5之开发环境搭建

最新推荐文章于 2023-11-16 10:45:10 发布

dingyanming

最新推荐文章于 2023-11-16 10:45:10 发布

阅读量2.7k

点赞数

分类专栏：分布式调度文章标签：大数据

本文链接：https://blog.csdn.net/dingyanming/article/details/123771996

版权

分布式调度专栏收录该内容

1 篇文章 0 订阅

订阅专栏

背景说明:

近期由于工作需要上线离线调度，时间紧迫大概简单了解了下，再加上之前老东家也简单用过，感觉还行，由于生产环境客户要求服务器禁止免密，禁止sudo使用,根据我之前的了解，默认是使用sudo的且一键安装是需要免密的,由于之前在老东家是别人搞得，只是简单用了下，故这里做下简单探索

基础准备

jdk

我这里用得是1.8.0_311

开发工具

我用的是IntelliJ IDEA Community Edition 2021.3.2

maven

我这里用得是apache-maven-3.8.4

node

这个是用于启动前端的，版本是node-v12.9.1，这里特别说明下，之前用得是最新版本的18.X的，结果发现报莫名其妙的错误，由于不是搞嵌段的不太熟vue的错误，从网上看了下，改成12.X可以正常启动了

mysql

用于存储dolphinscheduler元数据以及支持调度依赖等，我用的是8.x

zookeeper

用于注册信息服务，我用的是3.4.14

搭建步骤

下载源码包:

官方下载地址:download

选择自己需要的版本即可

解压

我这里是在windows服务器安装的就直接解压的linux可以用过tar命令解压

源码编译

进入到DolphinScheduler的home目录下进行编译

命令编译

mvn -U install package -Prelease -Dmaven.test.skip=true

开发工具编译

直接导入代码后编译即可

修改部分信息

`修改pom.xml`

进入到dolphinscheduler目录，修改pom.xml，将 mysql-connector-java 依赖的test改为 compile，如下

           <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>${mysql.connector.version}</version>
                <scope>compile</scope>
            </dependency>

修改数据库连接信息

修改 dolphinscheduler-dao/src/main/resources/application-mysql.yaml 文件中的数据库配置，修改效果如下

    driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
    username: root
    password: root

以上四条信息是基本信息，其他配置可根据需求自行修改优化

为了方便控制台输出调试，可分别修改日志输出待控制台

修改日志输出

分别在日志级别配置加入<appender-ref ref="STDOUT"/>

dolphinscheduler-server/src/main/resources/logback-worker.xml
dolphinscheduler-server/src/main/resources/logback-master.xml
dolphinscheduler-api/src/main/resources/logback-api.xml

这里以api为例效果如下

修改master,worker,api的启动参数

修改master启动参数

org.apache.dolphinscheduler.server.master.MasterServer中右击修改运行时配置添加添加VM参数：-Dlogging.config=classpath:logback-master.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active=mysql

修改worker启动参数

org.apache.dolphinscheduler.server.worker.WorkerServer中右击修改运行时配置添加添加VM参数：-Dlogging.config=classpath:logback-worker.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active=mysql

修改ApiApplicationServer启动参数

org.apache.dolphinscheduler.api.ApiApplicationServer中右击修改运行时配置添加添加VM参数：

-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=api,mysql

至此所有信息修改完成

初始化元数据到mysql

创建dolphinscheduler库和账号

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL ON dolphinscheduler.* TO 'dolphinscheduler'@'%';