dolphinscheduler单机版部署
前言
DolphinScheduler是一个分布式易用的大数据工作流调度系统,提供了可视化的web操作界面,帮助用户快速、高效地构建和调度大数据任务;支持分布式部署和单机部署两种方式。单机部署适用于小规模使用场景,可以在一台机器上快速搭建并运行。
本文将介绍如何在单机上部署DolphinScheduler
一、准备工作
在开始部署之前,确保你已经安装了以下软件和环境:
- Java 8或更高版本
- MySQL数据库
- Hadoop和Hive(可选,用于执行Hadoop和Hive任务)
- Centos服务器 (获取方法) (使用的链接工具是XShell)
安装包在下面链接中,这里给出了两个,按方便的来下,也可以自行去官网下载
如果没有安装,就按顺序操作,安装了可以直接到DolphinScheduler
二、安装JDK和Mysql
由于之前已经写过了,这里就直接放链接了
- 安装JDK:云服务器上安装JDK
- 安装Mysql:云服务器上配置Mysql
三、安装DolphinScheduler
步骤一:下载和解压DolphinScheduler
- 在DolphinScheduler官网下载或是前面网盘中下载
wget --no-check-certificate https://archive.apache.org/dist/dolphinscheduler/3.1.4/apache-dolphinscheduler-3.1.4-bin.tar.gz
- 上传压缩包到服务器的/tmp/下,如果直接拖动上传不了可以下载lrzsz重试
cd /tmp
- 解压下载的压缩包到指定文件夹
mkdir -p /opt/soft/dolphinscheduler
tar -zxvf /tmp/apache-dolphinscheduler-3.1.4-bin.tar.gz -C /opt/soft/dolphinscheduler
步骤二:创建数据库
- 登录到MySQL数据库(这里输入密码不会显示,直接输就行)
msyql -u root -p
5. 创建一个新的数据库,并指定字符集和校对规则。例如,执行以下命令创建名为dolphinscheduler的数据库:
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
6.创建 dolphinscheduler 用户并授予操作 dolphinscheduler 数据库的权限(设置密码为dolphinscheduler)
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
授予操作 dolphinscheduler 数据库的权限并刷新权限
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
flush privileges;
7.完成后可以退出Mysql使用dolphinscheduler 用户登录测试
mysql -u dolphinscheduler -p
步骤三:修改配置文件
- 修改 dolphinscheduler_env.sh 文件
vim /opt/soft/dolphinscheduler/apache-dolphinscheduler-3.1.4-bin/bin/env/dolphinscheduler_env.sh
内容如下:
# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/root/jdk1.8.0_11} # 修改为自己的jdk安装目录
# 修改MySQL配置
# Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME