Dolphinscheduler单机搭建(从零开始)


前言

DolphinScheduler是一个分布式易用的大数据工作流调度系统,提供了可视化的web操作界面,帮助用户快速、高效地构建和调度大数据任务;支持分布式部署和单机部署两种方式。单机部署适用于小规模使用场景,可以在一台机器上快速搭建并运行。


本文将介绍如何在单机上部署DolphinScheduler

一、准备工作

在开始部署之前,确保你已经安装了以下软件和环境:

  • Java 8或更高版本
  • MySQL数据库
  • Hadoop和Hive(可选,用于执行Hadoop和Hive任务)
  • Centos服务器 (获取方法) (使用的链接工具是XShell)

安装包在下面链接中,这里给出了两个,按方便的来下,也可以自行去官网下载

如果没有安装,就按顺序操作,安装了可以直接到DolphinScheduler

二、安装JDK和Mysql

由于之前已经写过了,这里就直接放链接了

三、安装DolphinScheduler

步骤一:下载和解压DolphinScheduler

  1. DolphinScheduler官网下载或是前面网盘中下载
wget --no-check-certificate https://archive.apache.org/dist/dolphinscheduler/3.1.4/apache-dolphinscheduler-3.1.4-bin.tar.gz 
  1. 上传压缩包到服务器的/tmp/下,如果直接拖动上传不了可以下载lrzsz重试
cd /tmp

在这里插入图片描述

  1. 解压下载的压缩包到指定文件夹
mkdir -p /opt/soft/dolphinscheduler
tar -zxvf /tmp/apache-dolphinscheduler-3.1.4-bin.tar.gz -C /opt/soft/dolphinscheduler

步骤二:创建数据库

  1. 登录到MySQL数据库(这里输入密码不会显示,直接输就行)
msyql -u root -p

在这里插入图片描述
5. 创建一个新的数据库,并指定字符集和校对规则。例如,执行以下命令创建名为dolphinscheduler的数据库:

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

在这里插入图片描述

6.创建 dolphinscheduler 用户并授予操作 dolphinscheduler 数据库的权限(设置密码为dolphinscheduler)

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';

授予操作 dolphinscheduler 数据库的权限并刷新权限

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
flush privileges;

在这里插入图片描述
7.完成后可以退出Mysql使用dolphinscheduler 用户登录测试

mysql -u dolphinscheduler -p

在这里插入图片描述

步骤三:修改配置文件

  1. 修改 dolphinscheduler_env.sh 文件
vim /opt/soft/dolphinscheduler/apache-dolphinscheduler-3.1.4-bin/bin/env/dolphinscheduler_env.sh

内容如下:

# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/root/jdk1.8.0_11}   # 修改为自己的jdk安装目录

# 修改MySQL配置
# Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME
dolphinscheduler是一个分布式任务调度平台,可以在Linux系统上进行单机部署。以下是dolphinscheduler在Linux上的单机部署步骤: 1. 首先,请下载最新版本的dolphinscheduler后端安装包,并将其上传至服务器的目标部署目录,例如创建/opt/dolphinscheduler作为安装部署目录。 2. 解压安装包,执行以下命令: ``` mkdir -p /opt/dolphinscheduler cd /opt/dolphinscheduler tar -zxvf apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin.tar.gz -C /opt/dolphinscheduler mv apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin dolphinscheduler-bin ``` 3. 创建部署用户并赋予目录操作权限。以创建dolphinscheduler用户为例: ``` useradd dolphinscheduler echo "dolphinscheduler" | passwd --stdin dolphinscheduler sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin ``` 4. 如果需要使用资源中心功能,请执行以下命令: ``` sudo mkdir /data/dolphinscheduler sudo chown -R dolphinscheduler:dolphinscheduler /data/dolphinscheduler ``` 5. 切换到部署用户,执行一键部署脚本: ``` sh install.sh ``` 6. 部署成功后,可以通过访问前端页面地址来登录系统。前端页面地址为http://服务器IP地址:12345/dolphinscheduler,默认用户名和密码为admin/dolphinscheduler123。 7. 若要启停服务,可以使用以下命令: ``` # 一键停止集群所有服务 sh ./bin/stop-all.sh # 一键开启集群所有服务 sh ./bin/start-all.sh # 启停Master sh ./bin/dolphinscheduler-daemon.sh start master-server sh ./bin/dolphinscheduler-daemon.sh stop master-server # 启停Worker sh ./bin/dolphinscheduler-daemon.sh start worker-server sh ./bin/dolphinscheduler-daemon.sh stop worker-server # 启停Api sh ./bin/dolphinscheduler-daemon.sh start api-server sh ./bin/dolphinscheduler-daemon.sh stop api-server # 启停Logger sh ./bin/dolphinscheduler-daemon.sh start logger-server sh ./bin/dolphinscheduler-daemon.sh stop logger-server # 启停Alert sh ./bin/dolphinscheduler-daemon.sh start alert-server sh ./bin/dolphinscheduler-daemon.sh stop alert-server ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值