2024年大数据最新DolphinScheduler-3，2024年最新作为字节跳动面试官

最新推荐文章于 2024-08-14 15:41:16 发布
最新推荐文章于 2024-08-14 15:41:16 发布
阅读量455 收藏 9
点赞数 4
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78399616/article/details/138630616
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

3.端口说明

组件默认端口说明
MasterServer5678非通信端口，只需本机端口不冲突即可
WorkerServer1234非通信端口，只需本机端口不冲突即可
ApiApplicationServer12345提供后端通信端口

4.DS集群部署

1.时间同步

服务端：192.168.0.31 客户端：192.168.0.32、192.168.0.33，服务端在31执行，客户端在32、33执行

# 服务端和客户端，安装chrony
yum install chrony -y

# 服务端和客户端，安装chrony
yum install chrony -y

# 服务端（此处也可以使用 ntp.aliyun.com 来代替 192.168.0.31，使用阿里云时间服务，如果使用31则是本机时间）
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 192.168.0.0/24
local stratum 10
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客户端
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客服端和服务端，重启chrony，开机自启动
systemctl restart chronyd
systemctl enable chronyd

#客户端进行验证
chronyc sources -v

# 参数解释
#
# pool ntp.aliyun.com iburst
# 指定使用ntp.aliyun.com作为时间服务器池，iburst选项表示在初始同步时会发送多个请求以加快同步速度。
# 
# driftfile /var/lib/chrony/drift
# 指定用于保存时钟漂移信息的文件路径。
# 
# makestep 1.0 3
# 设置当系统时间与服务器时间偏差大于1秒时，会以1秒的步长进行调整。如果偏差超过3秒，则立即进行时间调整。
# 
# rtcsync
# 启用硬件时钟同步功能，可以提高时钟的准确性。
# 
# allow 192.168.0.0/24
# 允许192.168.0.0/24网段范围内的主机与chrony进行时间同步。
# 
# local stratum 10
# 将本地时钟设为stratum 10，stratum值表示时钟的准确度，值越小表示准确度越高。
# 
# keyfile /etc/chrony.keys
# 指定使用的密钥文件路径，用于对时间同步进行身份验证。
# 
# leapsectz right/UTC
# 指定时区为UTC。
# 
# logdir /var/log/chrony
# 指定日志文件存放目录。

2.配置用户、权限

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-\*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin

3.配置集群免密登陆

# 使用创建的 dolphinscheduler 登陆，配置hadoop31到hadoop32、hadoop33免密登陆
su dolphinscheduler

# hadoop31节点，生成密钥
ssh-keygen -t rsa

# hadoop31节点操作，配置向hadoop31、hadoop32、hadoop33节点免密
ssh-copy-id hadoop31
ssh-copy-id hadoop32
ssh-copy-id hadoop33

4.ZK集群启动

ZK集群安装，参考教程：ZooKeeper集群的安装，本文安装 ZK 版本为 3.8.3。参考教程中是 3.4.14，安装步骤都是一样样儿的，对应着来就可以了。

# 启动zk集群
bin/zkServer.sh start

5.初始化数据库

此处以 MySQL 为例

1.创建数据库、用户、授权

此处可使用root用户，推荐单独创建一个用户dolphinscheduler

-- 进入MySQL命令行
[root@hadoop01]# mysql -u root -p 
Enter password: xxxxxx
-- 创建 dolphinscheduler 数据库用户和密码，并限定登陆范围
mysql > CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
-- 创建 dolphinscheduler 的元数据，并指定编码
mysql > CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
-- 为dolphinscheduler数据库授权
mysql > grant all privileges on dolphinscheduler.\* to 'dolphinscheduler'@'%';
-- 刷新权限
mysql > flush privileges;
2.解压缩安装包
# 将apache-dolphinscheduler-3.2.0-bin.tar.gz上传至/opt/targz目录下

# 解压
[root@hadoop31 targz]# tar zxvf ./apache-dolphinscheduler-3.2.0-bin.tar.gz

# 修改目录权限，使得部署用户对解压缩后的文件有操作权限
[root@hadoop31 targz]# chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-3.2.0-bin
3.添加MySQL驱动至libs目录

​ 此处使用 MySQL 8.2.0版本，对应使用 JDBC 驱动为 mysql-connector-j-8.2.0.jar，将该驱动移动至 DolphinScheduler 的每个模块下的 libs 目录下。共5个目录：

  • api-server/libs
  • alert-server/libs
  • master-server/libs
  • worker-server/libs
  • tools/libs

6.配置文件修改

1.dolphinscheduler_env.sh 配置
# 修改dolphinscheduler\_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/dolphinscheduler_env.sh

# 在文末添加以下配置：
# JAVA\_HOME, will use it to start DolphinScheduler server
# JDK配置
export JAVA\_HOME=${JAVA\_HOME:-/opt/soft/jdk8}

# Database related configuration, set database type, username and password
# MySQL数据库配置
export DATABASE=${DATABASE:-mysql}
export SPRING\_PROFILES\_ACTIVE=${DATABASE}
export SPRING\_DATASOURCE\_URL="jdbc:mysql://192.168.17.28:3307/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING\_DATASOURCE\_USERNAME=${SPRING\_DATASOURCE\_USERNAME:-"dolphinscheduler"}
export SPRING\_DATASOURCE\_PASSWORD=${SPRING\_DATASOURCE\_PASSWORD:-"dolphinscheduler"}

# DolphinScheduler server related configuration
export SPRING\_CACHE\_TYPE=${SPRING\_CACHE\_TYPE:-none}
export SPRING\_JACKSON\_TIME\_ZONE=${SPRING\_JACKSON\_TIME\_ZONE:-UTC}
export MASTER\_FETCH\_COMMAND\_NUM=${MASTER\_FETCH\_COMMAND\_NUM:-10}

# Registry center configuration, determines the type and link of the registry center
# zk注册中心
export REGISTRY\_TYPE=${REGISTRY\_TYPE:-zookeeper}
export REGISTRY\_ZOOKEEPER\_CONNECT\_STRING=${REGISTRY\_ZOOKEEPER\_CONNECT\_STRING:-hadoop31:2181,hadoop32:2181,hadoop33:2181}

# Tasks related configurations, need to change the configuration if you use the related tasks.
# 其他环境配置(此处只配置了hadoop、hive，其他环境未部署)
# 如果你不使用某些任务类型，可以忽略不做配置，使用默认即可。比如Flink不使用，不做处理即可
export HADOOP\_HOME=${HADOOP\_HOME:-/opt/soft/hadoop-3.3.6}
export HADOOP\_CONF\_DIR=${HADOOP\_CONF\_DIR:-/opt/soft/hadoop-3.3.6/etc/hadoop}
export SPARK\_HOME=${SPARK\_HOME:-/opt/soft/spark}
export PYTHON\_LAUNCHER=${PYTHON\_LAUNCHER:-/opt/soft/python}
export HIVE\_HOME=${HIVE\_HOME:-/opt/soft/hive-3.1.3}
export FLINK\_HOME=${FLINK\_HOME:-/opt/soft/flink}
export DATAX\_LAUNCHER=${DATAX\_LAUNCHER:-/opt/soft/datax/bin/python3}

export PATH=$HADOOP\_HOME/bin:$SPARK\_HOME/bin:$PYTHON\_LAUNCHER:$JAVA\_HOME/bin:$HIVE\_HOME/bin:$FLINK\_HOME/bin:$DATAX\_LAUNCHER:$PATH
2.install_env.sh文件修改
# 修改install\_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/install_env.sh

# 按照集群部署方案，内容如下：

# 集群节点
ips=${ips:-"hadoop31,hadoop32,hadoop33"}

# ssh免密端口,使用默认
sshPort=${sshPort:-"22"}

# master节点
masters=${masters:-"hadoop31,hadoop32"}

# worker节点
workers=${workers:-"hadoop31:default,hadoop32:default,hadoop33:default"}

# alert节点
alertServer=${alertServer:-"hadoop33"}

# api节点
apiServers=${apiServers:-"hadoop31"}



![img](https://img-blog.csdnimg.cn/img_convert/85544765cb693179173e99a0e770c474.png)
![img](https://img-blog.csdnimg.cn/img_convert/1534cef55b7740d065a8b9245670c935.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

15258025625)]
[外链图片转存中...(img-ZWFeORlg-1715258025625)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2301_78399616
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
dolphinscheduler集群部署教程
zcs2312852665的博客
02-25 1601
本文将介绍如何安装和配置 DolphinScheduler，一个分布式任务调度系统。首先，我们将讨论架构规划，包括主机IP、主机名和安装的服务。然后，我们将配置集群之间的免密登录，创建用户并设置密码。接下来，我们将安装所需的软件和库，如JDK、MySQL和ZooKeeper。最后，我们将下载和部署 DolphinScheduler，并演示如何登录和使用该系统。本文详细介绍了安装和配置 DolphinScheduler 的步骤。我们首先进行了架构规划，确定了主机IP、主机名和安装的服务。
花一分钟体验大数据任务调度系统 - Apache DolphinScheduler 第一个官方 Docker 镜像
数据之路
01-20 1314
新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。下面就带大家来快速试用 DolphinScheduler 官方推荐以 docker-compose 的方式启动，这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料，请自行安装即可。 1、下载源码 zip 包- 请下载最新版本的源码包并进行解压 # 创建源码存放目录 mkdir -p /opt...
DolphinScheduler-3.2.0集群部署教程
扛麻袋的少年的博客
01-19 2309
海豚调度 DolphinScheduler 3.2.0 集群部署教程
ntpd和chronyd时间服务器配置样例及详解
forestqq的博客
06-21 1126
本文为ntpd和chronyd时间服务器配置样例及详解
DolphinScheduler 集群模式安装部署
Stars.Sky 的博客
12-28 2606
DolphinScheduler 集群模式安装部署
大数据技术——DolphinScheduler的集群部署
最新发布
weixin_63106307的博客
08-14 1195
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。工作流要求：工作流需包含三个Shell类型的任务节点，分别是A，B，C。1）创建工作流2）配置任务节点（1）节点A（2）节点B（3）节点C3）配置任务节点的依赖关系配置依赖的关系的方式如下两种：（1）直接对 DAG 图进行拖拽操作（2）在节点设置中选择 “前置任务”4）保存工作流定义。
DolphinScheduler 集群部署
weixin_44371237的博客
11-11 1151
DolphinScheduler 集群部署
apache-dolphinscheduler-3.1.3-bin.tar.gz
01-10
Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。 DolphinScheduler 以 DAG（Directed ...
3-3.新一代大数据调度+-Apache+DolphinScheduler架构演进+&+Roadmap.pdf
03-18
自 2021 年 03 月 18 日正式成为 Apache 顶级项目以来，DolphinScheduler 致力于在数据工作流编排中“解决复杂的大数据任务依赖及触发关系，让各种大数据任务类型开箱即用”。目前，已经有 400+ 公司在生产上使用 ...
大数据技术之DolphinScheduler2.x视频教程
07-08
本套教程基于DolphinScheduler 2.0.5版本，多角度调研与其他大数据框架的版本兼容性，给出管家式的部署安装过程，并对工作流的配置、依赖设置、参数设置等做出了详尽讲解。 教程在讲解框架的基础架构，介绍角色的...
dolphinscheduler-common-1.3.3.jar
11-12
调度任务显示失败问题修改
DolphinScheduler 集群模式部署
m0_72168501的博客
05-17 2127
DolphinScheduler 集群模式部署
DolphinScheduler集群部署
qq_37765808的博客
06-17 1183
dolphinscheduler集群部署教程
Dolphinscheduler集群部署
ZSP1741348006的博客
09-26 653
Dolphinscheduler集群部署 1、Dolphinscheduler部署背景-基础软件安装 PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 pstree or psmisc：Mac OS必装pstree，Fedora/Red/Ha
dolphinscheduler分布式集群部署指南(小白版)
最爱嫣夜来
01-17 5020
摘自官网：Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
DolphinScheduler 3.1.0 海豚集群部署配置
shuyv的博客
02-02 6291
dolphinscheduler3.1.0 以上
dolphinscheduler-service-3.1.0.jar
10-27
dolphinscheduler-service-3.1.0.jar 是 Dolphin Scheduler 的一个核心服务模块。Dolphin Scheduler 是一个分布式、易扩展的大数据工作流调度系统，能够帮助用户实现复杂的大数据任务调度和管理。 dolphinscheduler...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值