海豚调度器DolphinScheduler单机版的搭建

下载

夸克
链接：https://pan.quark.cn/s/75b3d3aa9736
提取码：wJDK

官网：

https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/installation/standalone.html

上传解压

将下载的tar.gz上传到虚拟机上，进行解压

//解压
tar -zxvf /opt/installs/apache-dolphinscheduler-3.1.8-bin.tar.gz -C /opt/modules/

// 改名
mv /opt/modules/apache-dolphinscheduler-3.1.8-bin.tar.gz /opt/modules/dolphinscheduler

启动

cd /opt/installs/dolphinscheduler/bin

//启动
./bin/dolphinscheduler-daemon.sh start standalone-server

//查看状态
./bin/dolphinscheduler-daemon.sh status standalone-server

//关闭
./bin/dolphinscheduler-daemon.sh stop standalone-server


web页面
http://ip:12345/dolphinscheduler

账号：
admin

密码：
dolphinscheduler123

注：

理论上下载完就可以使用DolphinScheduler，但是单机模式是有缺点的

1、仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database。

2、若停止或重启服务，内存中数据库里的数据清空。

配置

将原数据放到mysql数据库中

一、将mysql的驱动包拷贝到所有的服务的jars目录下

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./alert-server/libs/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./api-server/libs/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./master-server/libs/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./tools/libs/

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./worker-server/libs/

二、在mysql中创建一个数据库用来存放元数据

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

三、创建一个新用户（非必须）

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;


#如果提示密码等级过低：
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

四、在Linux黑窗口运行：

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://ip:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456


bash tools/bin/upgrade-schema.sh

此时可以看到mysql的dolphinScheduler数据库中已经出现了很多表。

五、修改配置文件

/opt/modules/ds/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf/application.yaml


//大概在38行 进行替换
datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

注：由于是yaml文件，注意空格，需要和文件中原有的格式照应

重新启动服务即可，此时新建一个项目，当服务重启后，可以发现项目还在。

若出现问题，日志在/opt/installs/dolphinscheduler/standalone-server/logs/dolphinscheduler-standalone.log

六、启动

cd /opt/installs/dolphinscheduler/bin

//启动
./bin/dolphinscheduler-daemon.sh start standalone-server

//查看状态
./bin/dolphinscheduler-daemon.sh status standalone-server

//关闭
./bin/dolphinscheduler-daemon.sh stop standalone-server


web页面
http://ip:12345/dolphinscheduler

账号：
admin

密码：
dolphinscheduler123

问题

一、点击资源中心，上传资源提示，存储未启用，如何开启HDFS

        该软件中有很多的服务，单机版只需要将standalone-server服务下，conf文件中的common.properties文件进行修改，若不行，那么可以尝试将所有服务下的该文件进行修改。

修改这三个键值对的值
resource.storage.type=HDFS
resource.storage.upload.base.path=/dolphinscheduler
// 根据hdfs版本不同端口号不同，3.0以后的为9820
resource.hdfs.fs.defaultFS=hdfs://ip:9820

修改hdfs的权限：
hdfs dfs -chmod -R 777 /

重启服务。