基础环境:
Macbook Pro
java 8
python 2.7
Mysql 5.7
1. 安装ZooKeeper
note:需要下载apache-zookeeper-3.5.8-bin.tar.gz文件,否则zk无法启动
错误信息:
错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
解压文件,进入conf,执行如下命令
cp zoo_sample.cfg zoo.cfg
编辑 zoo.cfg,修改一下data目录(也可以不修改)
vim zoo.cfg
dataDir=...........
进入bin,执行如下命令启动zookeeper
./zkServer.sh start
执行如下命令,进行客户端登陆
./zkCli.sh
2.创建Mysql数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'dscheduler'@'%' IDENTIFIED BY 'dscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dscheduler'@'%' WITH GRANT OPTION;
flush privileges;
3.配置后端开发环境
在pom文件里面,找到modules,将dolphinscheduler-ui注释掉
Note:
如果想使用CDH版本大数据组件,需要在pom文件中加入repositories,并且需要修改hive和hadoop的版本
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
执行mvn编译命令
mvn -U clean package -Prelease -Dmaven.test.skip=true
去除pom文件中mysql的scope
在apiserver中加入
@PropertySource(ignoreResourceNotFound = false, value = "classpath:application-api.properties")
在Dao里面修改application.properties配置,根据具体数据库修改,pg或者mysql
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=dolphinscheduler
spring.datasource.password=dolphinscheduler
在service层修改zk地址,如果为本地zk,默认不需要修改
在Server层修改master代码
@PropertySource(ignoreResourceNotFound = false, value = "classpath:master.properties")
修改server的master.properties
修改server的worker
修改server的worker.properties
在WorkerServer的run configuration中设置如下:
-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml"
-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml"
分别启动API、Master、Worker
4.前端环境配置
cd dolphinscheduler-ui
npm install
修改前端API Server地址
启动前端
npm run start
访问:localhost:8888
默认账号密码
admin
dolphinscheduler123