DolphinScheduler单机版搭建

单机模式(standalone)模式下,所有服务均集中于一个StandaloneServer进程中,并且其中内置了注册中心Zookeeper和数据库H2(基于内存的)。只需配置JDK环境,就可一键启动DolphinScheduler,快速体验其功能。

DS版本:apache-dolphinscheduler-3.1.8-bin

一、安装与启动

1.首先进行上传解压:

tar -zxvf  xxx.tar.gz  -C /opt/installs/

2.然后将mysql的驱动包拷贝到所有的服务的jars目录下:

cd apache-dolphinscheduler-3.1.8-bin

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

3.在mysql中创建一个对应的数据库:

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

4.创建新用户:

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

可能会出现密码太过简单的报错:

执行如下sql

set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

再次运行创建新用户的sql。

5.在Linux黑窗口运行:

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

6.紧接初始化数据库:

bash tools/bin/upgrade-schema.sh

7.修改配置文件:/opt/installs/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf

修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例,包括用户名、密码、数据库名等信息。以下是修改后的示例:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

8.启动

注意: Standalone 仅建议 20 个以下工作流使用,因为其采用内存式的 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定,并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 

如何启动和关闭单机版:
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 jps查看任务进程:

二、测试 

1.通过网址与账号密码登录:

访问地址:http://bigdata01:12345/dolphinscheduler/ui
账号和密码:  账号:admin  密码:dolphinscheduler123

 

 2.上传资源时提示 存储未启用:

解决办法:

将standalone-server服务下的common.properties中的内容修改一下:

 

修改standalone-server下的common.properties

resource.storage.type=HDFS
resource.storage.upload.base.path=/dolphinscheduler
resource.hdfs.fs.defaultFS=hdfs://bigdata01:9820

修改hdfs的权限 

hdfs dfs -chmod -R 777 /

重启服务

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 3.安全中心的一些配置:

3.1创建租户:

3.2创建用户:
3.3 在项目管理中创建项目并授权:

这样,基本设置就已经完成了。

  • 25
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
dolphinscheduler是一个分布式任务调度平台,可以在Linux系统上进行单机部署。以下是dolphinscheduler在Linux上的单机部署步骤: 1. 首先,请下载最新版本的dolphinscheduler后端安装包,并将其上传至服务器的目标部署目录,例如创建/opt/dolphinscheduler作为安装部署目录。 2. 解压安装包,执行以下命令: ``` mkdir -p /opt/dolphinscheduler cd /opt/dolphinscheduler tar -zxvf apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin.tar.gz -C /opt/dolphinscheduler mv apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin dolphinscheduler-bin ``` 3. 创建部署用户并赋予目录操作权限。以创建dolphinscheduler用户为例: ``` useradd dolphinscheduler echo "dolphinscheduler" | passwd --stdin dolphinscheduler sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin ``` 4. 如果需要使用资源中心功能,请执行以下命令: ``` sudo mkdir /data/dolphinscheduler sudo chown -R dolphinscheduler:dolphinscheduler /data/dolphinscheduler ``` 5. 切换到部署用户,执行一键部署脚本: ``` sh install.sh ``` 6. 部署成功后,可以通过访问前端页面地址来登录系统。前端页面地址为http://服务器IP地址:12345/dolphinscheduler,默认用户名和密码为admin/dolphinscheduler123。 7. 若要启停服务,可以使用以下命令: ``` # 一键停止集群所有服务 sh ./bin/stop-all.sh # 一键开启集群所有服务 sh ./bin/start-all.sh # 启停Master sh ./bin/dolphinscheduler-daemon.sh start master-server sh ./bin/dolphinscheduler-daemon.sh stop master-server # 启停Worker sh ./bin/dolphinscheduler-daemon.sh start worker-server sh ./bin/dolphinscheduler-daemon.sh stop worker-server # 启停Api sh ./bin/dolphinscheduler-daemon.sh start api-server sh ./bin/dolphinscheduler-daemon.sh stop api-server # 启停Logger sh ./bin/dolphinscheduler-daemon.sh start logger-server sh ./bin/dolphinscheduler-daemon.sh stop logger-server # 启停Alert sh ./bin/dolphinscheduler-daemon.sh start alert-server sh ./bin/dolphinscheduler-daemon.sh stop alert-server ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值