Dolphin Scheduler本地开发环境配置

基础环境：

1. Macbook Pro
2. java 8
3. python 2.7
4. Mysql 8.0

1.安装ZooKeeper

下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/stable/

note:需要下载apache-zookeeper-3.5.8-bin.tar.gz文件，否则zk无法启动

错误信息：

错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain

解压文件，进入conf,执行如下命令

cp zoo_sample.cfg zoo.cfg

编辑 zoo.cfg,修改一下data目录（也可以不修改）

vim zoo.cfg
dataDir=...........

进入bin,执行如下命令启动zookeeper

./zkServer.sh start

执行如下命令，进行客户端登陆

./zkCli.sh

2.创建Mysql数据库

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'dscheduler'@'%' IDENTIFIED BY 'dscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dscheduler'@'%' WITH GRANT OPTION;
flush privileges;


CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'dscheduler'@'%' IDENTIFIED BY 'dscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dscheduler'@'%' IDENTIFIED BY 'dscheduler';
flush privileges;

3.配置后端开发环境

在pom文件里面，找到modules，将dolphinscheduler-ui注释掉

Note：
如果想使用CDH版本大数据组件，需要在pom文件中加入repositories，并且需要修改hive和hadoop的版本

<repositories>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>

执行mvn编译命令

mvn -U clean package -Prelease -Dmaven.test.skip=true

去除pom文件中mysql的scope

在apiserver中加入

@PropertySource(ignoreResourceNotFound = false, value = "classpath:application-api.properties")

在Dao里面修改application.properties配置，根据具体数据库修改，pg或者mysql

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=dolphinscheduler
spring.datasource.password=dolphinscheduler

在service层修改zk地址，如果为本地zk，默认不需要修改

在Server层修改master代码

@PropertySource(ignoreResourceNotFound = false, value = "classpath:master.properties")

修改server的master.properties

修改server的worker

修改server的worker.properties

在WorkerServer的run configuration中设置如下：

-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml" 

分别启动API、Master、Worker

4.前端环境配置

 cd dolphinscheduler-ui
 npm install

修改前端API Server地址

启动前端

npm run start

访问：localhost:8888

默认账号密码

admin
dolphinscheduler123