在windows下搭建dolphinscheduler的两种方式

一、采用封装好的包,在windows下进行ds搭建

1、下载dolphinscheduler安装包用的是1.3.2
2、下载zk安装包
3、使用bandizip解压
4、创建mysql本地数据库

在这里插入图片描述

5、需要修改dolphinscheduler-dao 一个jar包下的的datasource.properties文件,修改为如下内容

在这里插入图片描述

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/dolphinscheduler
spring.datasource.username=root
spring.datasource.password=root
6、解压zk

解压后进入apache-zookeeper-3.6.1-bin\conf,把zoo_sample.cfg重命名为zoo.cfg,再编辑zoo.cfg,修改如下两个参数:

dataDir=D:\\\zookeeper\\apache-zookeeper-3.8.0-bin\\data
dataLogDir=D:\\\zookeeper\\apache-zookeeper-3.8.0-bin\\logs
7、在bin目录下启动zk,找到zkServer.cmd,并启动
8、把jdbc驱动包拷贝到lib目录下、mysql-connector-java-5.1.47.jar,本地的maven仓库应该是有相应的包的

或者手动执行相应的sql文件(有一个sql文件夹,找到mysql 的)

9、执行mysql初始化的时候报错(Specified key was too long; max key length is 767 bytes)

cd apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin
java -classpath lib/* org.apache.dolphinscheduler.dao.upgrade.shell.CreateDolphinScheduler

如果报错就执行下面的语句

cmd先执行mysql -uroot -p,进入到你的mysql中去

mysql -uroot -p

mysql> set global innodb_file_format = BARRACUDA;
Query OK, 0 rows affected (0.00 sec)
 
mysql> set global innodb_large_prefix = ON;
Query OK, 0 rows affected (0.00 sec)
10、起5个cmd窗口,以下所有命令在apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin下执行

启动master

java -classpath lib/* org.apache.dolphinscheduler.server.master.MasterServer

启动worker

java -classpath lib/* org.apache.dolphinscheduler.server.worker.WorkerServer

启动api server

java -classpath lib/* org.apache.dolphinscheduler.api.ApiApplicationServer --spring.config.name=application-api

启动log server

java -classpath lib/* org.apache.dolphinscheduler.server.log.LoggerServer
启动alert server

java -classpath lib/* org.apache.dolphinscheduler.alert.AlertServer
5个服务都已启动成功

11、查看zookeeper中是否已经执行了dolphinscheduler

执行zkcli.cmd

运行

[zk: localhost:2181(CONNECTED) 0] ls /dolphinscheduler
[lock, dead-servers, nodes]
[zk: localhost:2181(CONNECTED) 1] ls /dolphinscheduler/nodes
[worker, master]

二、采用源代码的方式

参考:https://blog.csdn.net/lijie0213/article/details/123647923?spm=1001.2014.3001.5501

1、安装zookeeper
1、下载zk,并解压
2、解压zk

解压后进入zookeeper-3.4.6\conf,先备份zoo_sample.cfg,把zoo_sample.cfg重命名为zoo.cfg,再编辑zoo.cfg,修改如下两个参数:

在这里插入图片描述

dataDir=D:\\\zookeeper3.4.6\\zookeeper-3.4.6\\data
dataLogDir=D:\\\zookeeper3.4.6\\zookeeper-3.4.6\\log
3、在bin中先运行 zkServer.cmd,然后运行zkCli.cmd 查看zk运行状态,可以查看zk节点信息即代表安装成功。(最后启动的时候记得启动 zkServer.sh

在这里插入图片描述

运行zkCli.cmd,查看zk启动状态

在这里插入图片描述

2、搭建后端环境

1、下载源码

官网 :https://dolphinscheduler.apache.org/zh-cn/index.html

地址 :https://github.com/apache/dolphinscheduler.git

这里选用 1.3.6-release 分支。

导入idea中

搭建数据库(项目中默认是pgsql,如果选择pgsql择无需以下数据库配置,咱们这里已mysql为列)
—>1:本地mysql数据库创建 这里为:

在这里插入图片描述

—>2:修改 dolphinscheduler-dao 模块的 datasource.properties(注释掉pgsql,放开mysql并修改成自己的mysql数据库)

在这里插入图片描述

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/dolphinSchedulerOld?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root 

—>3:修改根项目中 pom.xml,将 mysql-connector-java 依赖的 text 修改为 compile
在这里插入图片描述

—>4:刷新 dao 模块,运行org.apache.dolphinscheduler.dao.upgrade.shell.CreateDolphinScheduler 的 main 方法,自动插入项目所需的表和数据

在这里插入图片描述
备注:控制台会有执行语句打印,执行完成去本地数据库查看表是否生成。

我这里是执行失败了,网上说啥的都有,仔细看了一下,我发现了一个问题,我的密码后面是有一个空格的,导致密码匹配不上,

或者找到了这个sql文件,手动去数据库里面执行的,这种方式的话,是肯定要连接数据库的,所以说,你必须要解决上面的问题

报了:在这里插入图片描述

手动执行sql脚本:

在这里插入图片描述

执行生成相应的表:

在这里插入图片描述

3、查看zookeeper配置,是否正确

在这里插入图片描述

4.修改日志控制层输出,在logback-worker.xml、logback-master.xml、logback-api.xml中添加控制台输出

 <appender-ref ref="STDOUT"/> 

添加相关的配置

在这里插入图片描述

5.设置MasterServer,WorkerServer以及ApiApplicationServer文件运行的Application
—>1:MasterServer,WorkerServer以及ApiApplicationServer文件位置

在这里插入图片描述

启动类配置2:

在这里插入图片描述

配置启动类:

配置master 的

在这里插入图片描述

配置api 的

在这里插入图片描述

配置worker的

在这里插入图片描述

设置 VM Options:

MaseterServer:
-Dlogging.config=classpath:logback-master.xml -Ddruid.mysql.usePingMethod=false
WorkerServer:
-Dlogging.config=classpath:logback-worker.xml -Ddruid.mysql.usePingMethod=false
ApiApplicationServer:
-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=api

6、修改 api中的application-api.properties改成application.properties

在这里插入图片描述

3、运行后端环境

顺序启动 MasterServer–>WorkerServer–>ApiApplicationServer
如果需要用到日志功能,执行 org.apache.dolphinscheduler.server.log.LoggerServer 的main 方法。
后端swagger地址 :http://localhost:12345/dolphinscheduler/doc.html?language=zh_CN&lang=cn

4、搭建前端环境,我这里已经有了,就不详细介绍了,要下载node.js

使用前端工具打开 dolphinScheduler-ui,打开一个终端,执行,npm install命令,会生成一个依赖文件,node_moudles,成功之后,执行npm run start

在这里插入图片描述

执行之后出来端口号:

在这里插入图片描述

前端页面打开:

在这里插入图片描述

5、输入用户名和密码(执行sql的语句的时候,默认往这个user表里面添加了一条记录,密码是加密的)
用户:admin
密码:dolphinscheduler123
6、登录成功

在这里插入图片描述
有问题的话,可以一起交流一下,我也是第一次搭建。

  • 8
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
搭建DolphinScheduler的伪集群,首先需要准备好环境。根据引用[1]的内容,你需要安装Zookeeper和MySQL,并且使用DolphinScheduler的版本为1.3.9。 接下来,你需要构建DolphinScheduler的镜像。你可以参考引用提供的文章链接,该链接是DolphinScheduler官方文档的快速入门指南,其中有详细的步骤和说明。 在构建镜像完成后,你还需要对DolphinScheduler进行一些配置。根据引用的内容,DolphinScheduler使用了一些其他的组件和工具,如Hive、Hadoop、Spark、DataX、Python和Scala。你需要修改和添加相应的配置文件,以便与这些组件进行连接和交互。 总结来说,搭建DolphinScheduler的伪集群需要进行以下步骤: 1. 确保环境准备好,包括安装Zookeeper和MySQL。 2. 根据官方文档的快速入门指南,构建DolphinScheduler的镜像。 3. 根据需要,修改和添加DolphinScheduler的配置文件,确保与其他组件的连接和交互正常。 希望以上信息对你有帮助!<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [docker学习:docker部署dolphinscheduler1.3.9伪分布式集群](https://blog.csdn.net/nzbing/article/details/131372254)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [【部署】Apache DolphinScheduler 伪集群部署](https://blog.csdn.net/weixin_43681796/article/details/128672900)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [dolphinscheduler配置](https://download.csdn.net/download/xionglangs/86088059)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值