DolphinScheduler1.3本地源码构建

Dev-1.3版本

一.环境准备

1.Git克隆代码 https://github.com/apache/incubator-dolphinscheduler

 

2.maven导入IDE(maven需求3.3版本以上)

 

3.数据库需要:postgresql或者mysql

若测试环境为mysql需要在根目录引入mysql驱动

<dependency>

    <groupId>mysql</groupId>

    <artifactId>mysql-connector-java</artifactId>

    <version>${mysql.connector.version}</version>

    <!--<scope>test</scope>-->

</dependency>

4.node.js-12.0+

二.修改配置初始化数据库

1.修改告警邮件发送配置信息(若需要使用邮箱相关功能)位置如图所示:

 

2.修改数据库连接信息,如下图位置:

 

3.配置前端对接服务地址,如下图位置:(端口信息见dolphinscheduler-api包中的配置文件,默认为12345)

 

4.初始化数据库,需要先“CREATE DATABASE dolphinscheduler”创建数据库,然后运行如下类main():

 

三.启动后端服务

启动前需要分别修改如下启动参数:

1.dolphinscheduler-api,右键如下位置类,选择”Edit…“,按如图位置修改VM参数:

-Dspring.profiles.active=api -Dlogging.config="dolphinscheduler-api/src/main/resources/logback-api.xml"

 

2.dolphinscheduler-server中修改MasterServer的run configuration中的Vm参数:

-Dspring.profiles.active=master -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-master.xml"

 

 

3.dolphinscheduler-server中修改WorkerServer的run configuration中的Vm参数:

-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml"

 

 

 

4.dolphinscheduler-alert中修改AlertServer的run configuration中的Vm参数:

-Dspring.profiles.active=alert -Dlogging.config="dolphinscheduler-alert/src/main/resources/logback-alert.xml"

 

5.分别按ApiApplicationServer->MasterServer->WorkerServer->AlertServer->LoggerServer启动服务。

四.启动前端

1.准备node.js环境

2.Terminal切换目录到dolphinscheduler-ui下

3.执行 npm run dev

4.本地访问localhost:8888即可

初始用户名:admin

密码:dolphinscheduler123

 

本地环境启动后台服务需要指定启动参数,例如springboot配置文件和logback配置文件。

以上配置方法可以初步启动,但是使用py,hd插件时依然会报错,需要根据报错信息调整对应插件的环境。

后期了解成熟后将更新文档。

 

楼主win环境下可以调试了,基于dev-1.3分支的本地部署除了以上修改,还需要:

1.修改windows组策略设置如下图所示。

2.注释一下标红处代码

3.win系统中手动新增一个无密码账户,账户名称同租户信息

4.修改common包中配置文件,如下标红配置,路径为本地路劲即可

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的,包含了很多设计思想和技术。DolphinScheduler也不例外,它是一个非常优秀的框架,用到很多技术和设计思想,本课程会带大家深入DolphinScheduler框架码,包括设计的思想和技术都会讲解,DolphinScheduler码很多,会按照模块进行讲解,学习完课程后,不仅可以熟悉DolphinScheduler使用,而且可以掌握很多优秀的设计思想和技术,给自己的技术带来很大提升,为跳巢涨薪做好准备。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值