DolphinScheduler minio(S3支持)开启资源中心

最新推荐文章于 2024-08-21 09:21:43 发布
最新推荐文章于 2024-08-21 09:21:43 发布
阅读量1k 收藏 1
点赞数
分类专栏： DolphinScheduler Java 文章标签： etl java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xfworld/article/details/131704243
版权

DolphinScheduler 如果是在3.0.5 及之前的版本，没办法支持 S3 的协议的

当你按照文档配置之后，运行启动之后，在master 和 worker 节点，都会出现 缺包的依赖问题。

那这个问题在什么版本修复了呢？

3.0.6...

那 3.0.6 按照文档中描述的配置，可以启动资源中心么？

答案是否定的，因为文档中的配置信息和代码压根对应不上，为此我去翻了下源码，查了大概1个小时，看明白版本迭代后带来的变化了

笔者主要是采用的 K8S 的方式进行部署的，配置文件则需要依据 K8S部署的标准进行处理，主要可以参考官方的文档的一些要求。

对于资源中心这块的配置，按照以前的文档，则会是这样的一个版本：

3.0.5 之前的版本，核心配置：

resource.storage.type: S3

fs.defaultFS: s3a://dolphinscheduler

aws.access.key.id: flink_minio_root

aws.secret.access.key: flink_minio_123456

aws.region: us-east-1

aws.endpoint: http://10.233.7.78:9000
conf:

common:

# user data local directory path, please make sure the directory exists and have read write permissions

data.basedir.path: /tmp/dolphinscheduler



# resource storage type: HDFS, S3, NONE

resource.storage.type: S3



# resource store on HDFS/S3 path, resource file will store to this hadoop hdfs path, self configuration, please make sure the directory exists on hdfs and have read write permissions. "/dolphinscheduler" is recommended

resource.upload.path: /dolphinscheduler



# whether to startup kerberos

hadoop.security.authentication.startup.state: false



# java.security.krb5.conf path

java.security.krb5.conf.path: /opt/krb5.conf



# login user from keytab username

login.user.keytab.username: hdfs-mycluster@ESZ.COM



# login user from keytab path

login.user.keytab.path: /opt/hdfs.headless.keytab



# kerberos expire time, the unit is hour

kerberos.expire.time: 2

# resource view suffixs

#resource.view.suffixs: txt,log,sh,bat,conf,cfg,py,java,sql,xml,hql,properties,json,yml,yaml,ini,js

# if resource.storage.type: HDFS, the user must have the permission to create directories under the HDFS root path

hdfs.root.user: hdfs

# if resource.storage.type: S3, the value like: s3a://dolphinscheduler; if resource.storage.type: HDFS and namenode HA is enabled, you need to copy core-site.xml and hdfs-site.xml to conf dir

fs.defaultFS: s3a://dolphinscheduler

aws.access.key.id: flink_minio_root

aws.secret.access.key: flink_minio_123456

aws.region: us-east-1

aws.endpoint: http://10.233.7.78:9000

下段的公共配置信息,

RESOURCE_STORAGE_TYPE: "S3"

RESOURCE_UPLOAD_PATH: "/dolphinscheduler"

FS_DEFAULT_FS: "s3a://dolphinscheduler"

FS_S3A_ENDPOINT: "http://10.233.7.78:9000"

FS_S3A_ACCESS_KEY: "flink_minio_root"

FS_S3A_SECRET_KEY: "flink_minio_123456"
common:

## Configmap

configmap:

DOLPHINSCHEDULER_OPTS: ""

DATA_BASEDIR_PATH: "/tmp/dolphinscheduler"

RESOURCE_STORAGE_TYPE: "S3"

RESOURCE_UPLOAD_PATH: "/dolphinscheduler"

FS_DEFAULT_FS: "s3a://dolphinscheduler"

FS_S3A_ENDPOINT: "http://10.233.7.78:9000"

FS_S3A_ACCESS_KEY: "flink_minio_root"

FS_S3A_SECRET_KEY: "flink_minio_123456"

HADOOP_SECURITY_AUTHENTICATION_STARTUP_STATE: "false"

JAVA_SECURITY_KRB5_CONF_PATH: "/opt/krb5.conf"

LOGIN_USER_KEYTAB_USERNAME: "hdfs@HADOOP.COM"

LOGIN_USER_KEYTAB_PATH: "/opt/hdfs.keytab"

KERBEROS_EXPIRE_TIME: "2"

HDFS_ROOT_USER: "hdfs"

RESOURCE_MANAGER_HTTPADDRESS_PORT: "8088"

YARN_RESOURCEMANAGER_HA_RM_IDS: ""

YARN_APPLICATION_STATUS_ADDRESS: "http://ds1:%s/ws/v1/cluster/apps/%s"

YARN_JOB_HISTORY_STATUS_ADDRESS: "http://ds1:19888/ws/v1/history/mapreduce/jobs/%s"

DATASOURCE_ENCRYPTION_ENABLE: "false"

DATASOURCE_ENCRYPTION_SALT: "!@#$%^&*"

SUDO_ENABLE: "true"

# dolphinscheduler env

HADOOP_HOME: "/opt/soft/hadoop"

HADOOP_CONF_DIR: "/opt/soft/hadoop/etc/hadoop"

SPARK_HOME1: "/opt/soft/spark1"

SPARK_HOME2: "/opt/soft/spark2"

PYTHON_HOME: "/usr/bin/python"

JAVA_HOME: "/usr/local/openjdk-8"

HIVE_HOME: "/opt/soft/hive"

FLINK_HOME: "/opt/soft/flink"

DATAX_HOME: "/opt/soft/datax/bin/datax.py"

以上的配置信息，如果从3.0.6 的src 中的配置文件，去查阅相关的 values.yaml 配置信息，发现是一模一样！

但是，当你部署后，开始启动，就报错了，会告知你，无法启动资源中心服务，因为 空指针...

嗯，到这里，我也懵了，啥都是按照文档配置的，为毛会出现空指针？

ok，以下就是我翻阅源码的过程

 

然后翻阅这个常量信息

常量路径

dolphinscheduler/dolphinscheduler-task-plugin/dolphinscheduler-task-api/src/main/java/org/apache/dolphinscheduler/plugin/task/api/TaskConstants.java

主要配置：

/**

* aws config

*/

public static final String AWS_ACCESS_KEY_ID = "resource.aws.access.key.id";

public static final String AWS_SECRET_ACCESS_KEY = "resource.aws.secret.access.key";

public static final String AWS_REGION = "resource.aws.region";

发现和文档完全对不上，咋办？参数都不一样了....

没什么好办法，继续找文档支持

 

新款的配置信息，很容易就看到，支持了一堆

源码地址：

https://github.com/apache/dolphinscheduler/blob/7973324229826d1b9c7db81e14c89c8b5d621c28/deploy/kubernetes/dolphinscheduler/values.yaml#L152

  • S3
  • OSS
  • GCS
  • ABS
conf:

common:

# user data local directory path, please make sure the directory exists and have read write permissions

data.basedir.path: /tmp/dolphinscheduler



# resource storage type: HDFS, S3, OSS, GCS, ABS, NONE

resource.storage.type: S3



# resource store on HDFS/S3 path, resource file will store to this base path, self configuration, please make sure the directory exists on hdfs and have read write permissions. "/dolphinscheduler" is recommended

resource.storage.upload.base.path: /dolphinscheduler



# The AWS access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required

resource.aws.access.key.id: minioadmin



# The AWS secret access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required

resource.aws.secret.access.key: minioadmin



# The AWS Region to use. if resource.storage.type=S3 or use EMR-Task, This configuration is required

resource.aws.region: ca-central-1



# The name of the bucket. You need to create them by yourself. Otherwise, the system cannot start. All buckets in Amazon S3 share a single namespace; ensure the bucket is given a unique name.

resource.aws.s3.bucket.name: dolphinscheduler



# You need to set this parameter when private cloud s3. If S3 uses public cloud, you only need to set resource.aws.region or set to the endpoint of a public cloud such as S3.cn-north-1.amazonaws.com.cn

resource.aws.s3.endpoint: http://minio:9000



# alibaba cloud access key id, required if you set resource.storage.type=OSS

resource.alibaba.cloud.access.key.id: <your-access-key-id>



# alibaba cloud access key secret, required if you set resource.storage.type=OSS

resource.alibaba.cloud.access.key.secret: <your-access-key-secret>



# alibaba cloud region, required if you set resource.storage.type=OSS

resource.alibaba.cloud.region: cn-hangzhou



# oss bucket name, required if you set resource.storage.type=OSS

resource.alibaba.cloud.oss.bucket.name: dolphinscheduler



# oss bucket endpoint, required if you set resource.storage.type=OSS

resource.alibaba.cloud.oss.endpoint: https://oss-cn-hangzhou.aliyuncs.com



# if resource.storage.type=HDFS, the user must have the permission to create directories under the HDFS root path

resource.hdfs.root.user: hdfs



# if resource.storage.type=S3, the value like: s3a://dolphinscheduler; if resource.storage.type=HDFS and namenode HA is enabled, you need to copy core-site.xml and hdfs-site.xml to conf dir

resource.hdfs.fs.defaultFS: hdfs://mycluster:8020



# whether to startup kerberos

hadoop.security.authentication.startup.state: false



# java.security.krb5.conf path

java.security.krb5.conf.path: /opt/krb5.conf



# login user from keytab username

login.user.keytab.username: hdfs-mycluster@ESZ.COM



# login user from keytab path

login.user.keytab.path: /opt/hdfs.headless.keytab



# kerberos expire time, the unit is hour

kerberos.expire.time: 2



# resourcemanager port, the default value is 8088 if not specified

resource.manager.httpaddress.port: 8088



# if resourcemanager HA is enabled, please set the HA IPs; if resourcemanager is single, keep this value empty

yarn.resourcemanager.ha.rm.ids: 192.168.xx.xx,192.168.xx.xx



# if resourcemanager HA is enabled or not use resourcemanager, please keep the default value; If resourcemanager is single, you only need to replace ds1 to actual resourcemanager hostname

yarn.application.status.address: http://ds1:%s/ws/v1/cluster/apps/%s



# job history status url when application number threshold is reached(default 10000, maybe it was set to 1000)

yarn.job.history.status.address: http://ds1:19888/ws/v1/history/mapreduce/jobs/%s



# datasource encryption enable

datasource.encryption.enable: false



# datasource encryption salt

datasource.encryption.salt: '!@#$%^&*'



# data quality option

data-quality.jar.name: dolphinscheduler-data-quality-dev-SNAPSHOT.jar



# Whether hive SQL is executed in the same session

support.hive.oneSession: false



# use sudo or not, if set true, executing user is tenant user and deploy user needs sudo permissions; if set false, executing user is the deploy user and doesn't need sudo permissions

sudo.enable: true



# development state

development.state: false



# rpc port

alert.rpc.port: 50052



# set path of conda.sh

conda.path: /opt/anaconda3/etc/profile.d/conda.sh



# Task resource limit state

task.resource.limit.state: false



# mlflow task plugin preset repository

ml.mlflow.preset_repository: https://github.com/apache/dolphinscheduler-mlflow



# mlflow task plugin preset repository version

ml.mlflow.preset_repository_version: "main"



# way to collect applicationId: log, aop

appId.collect: log

未发布的文档片段

https://github.com/apache/dolphinscheduler/blob/7973324229826d1b9c7db81e14c89c8b5d621c28/docs/docs/zh/guide/resource/configuration.md?plain=1#L40

 

以上的这些信息并不代表3.0.6的版本支持了，只代表了新版的能够支持，继续寻找对应版本可以支持的参数，终于在配置列表中找到了

https://github.com/apache/dolphinscheduler/blob/3.0.6-release/docs/docs/zh/architecture/configuration.md?plain=1

 

于是按照以上寻到的各种配置，叠加在一起后，就变成下面的样子：

conf:

common:

# user data local directory path, please make sure the directory exists and have read write permissions

data.basedir.path: /dolphinscheduler/tmp



# resource storage type: HDFS, S3, NONE

resource.storage.type: S3



# resource store on HDFS/S3 path, resource file will store to this hadoop hdfs path, self configuration, please make sure the directory exists on hdfs and have read write permissions. "/dolphinscheduler" is recommended

resource.upload.path: /dolphinscheduler



# whether to startup kerberos

hadoop.security.authentication.startup.state: false



# java.security.krb5.conf path

java.security.krb5.conf.path: /opt/krb5.conf



# login user from keytab username

login.user.keytab.username: hdfs-mycluster@ESZ.COM



# login user from keytab path

login.user.keytab.path: /opt/hdfs.headless.keytab



# kerberos expire time, the unit is hour

kerberos.expire.time: 2

# resource view suffixs

#resource.view.suffixs: txt,log,sh,bat,conf,cfg,py,java,sql,xml,hql,properties,json,yml,yaml,ini,js

# if resource.storage.type: HDFS, the user must have the permission to create directories under the HDFS root path

hdfs.root.user: hdfs

# if resource.storage.type: S3, the value like: s3a://dolphinscheduler; if resource.storage.type: HDFS and namenode HA is enabled, you need to copy core-site.xml and hdfs-site.xml to conf dir

resource.storage.upload.base.path: /dolphinscheduler

fs.defaultFS: s3a://dolphinscheduler

resource.aws.access.key.id: flink_minio_root

resource.aws.secret.access.key: flink_minio_123456

resource.aws.region: us-east-1

resource.aws.s3.bucket.name: dolphinscheduler

resource.aws.s3.endpoint: http://10.233.7.78:9000

# resourcemanager port, the default value is 8088 if not specified

resource.manager.httpaddress.port: 8088

# if resourcemanager HA is enabled, please set the HA IPs; if resourcemanager is single, keep this value empty

yarn.resourcemanager.ha.rm.ids: 192.168.xx.xx,192.168.xx.xx

# if resourcemanager HA is enabled or not use resourcemanager, please keep the default value; If resourcemanager is single, you only need to replace ds1 to actual resourcemanager hostname

yarn.application.status.address: http://ds1:%s/ws/v1/cluster/apps/%s

# job history status url when application number threshold is reached(default 10000, maybe it was set to 1000)

yarn.job.history.status.address: http://ds1:19888/ws/v1/history/mapreduce/jobs/%s



# datasource encryption enable

datasource.encryption.enable: false



# datasource encryption salt

datasource.encryption.salt: '!@#$%^&*'



# data quality option

data-quality.jar.name: dolphinscheduler-data-quality-3.0.6.jar



#data-quality.error.output.path: /tmp/data-quality-error-data

common:

## Configmap

configmap:

DOLPHINSCHEDULER_OPTS: ""

DATA_BASEDIR_PATH: "/dolphinscheduler/tmp"

RESOURCE_STORAGE_TYPE: "S3"

RESOURCE_UPLOAD_PATH: "/dolphinscheduler"

FS_DEFAULT_FS: "s3a://dolphinscheduler"

FS_S3A_ENDPOINT: "http://10.233.7.78:9000"

FS_S3A_ACCESS_KEY: "flink_minio_root"

FS_S3A_SECRET_KEY: "flink_minio_123456"

HADOOP_SECURITY_AUTHENTICATION_STARTUP_STATE: "false"

JAVA_SECURITY_KRB5_CONF_PATH: "/opt/krb5.conf"

LOGIN_USER_KEYTAB_USERNAME: "hdfs@HADOOP.COM"

LOGIN_USER_KEYTAB_PATH: "/opt/hdfs.keytab"

KERBEROS_EXPIRE_TIME: "2"

HDFS_ROOT_USER: "hdfs"

RESOURCE_MANAGER_HTTPADDRESS_PORT: "8088"

YARN_RESOURCEMANAGER_HA_RM_IDS: ""

YARN_APPLICATION_STATUS_ADDRESS: "http://ds1:%s/ws/v1/cluster/apps/%s"

YARN_JOB_HISTORY_STATUS_ADDRESS: "http://ds1:19888/ws/v1/history/mapreduce/jobs/%s"

DATASOURCE_ENCRYPTION_ENABLE: "false"

DATASOURCE_ENCRYPTION_SALT: "!@#$%^&*"

SUDO_ENABLE: "true"

# dolphinscheduler env

HADOOP_HOME: "/opt/soft/hadoop"

HADOOP_CONF_DIR: "/opt/soft/hadoop/etc/hadoop"

SPARK_HOME1: "/opt/soft/spark1"

SPARK_HOME2: "/opt/soft/spark2"

PYTHON_HOME: "/usr/bin/python"

JAVA_HOME: "/usr/local/openjdk-8"

HIVE_HOME: "/opt/soft/hive"

FLINK_HOME: "/opt/soft/flink"

DATAX_HOME: "/opt/soft/datax"

ok，完成以上的配置后，资源中心就可以正式开启了，而且也确定不会报错了，十分不容易

我只想说，DolphinScheduler 文档，代码这块的管理比较乱，PMC 的大佬们似乎没太多精力关心这个事情。但是，不管是参与者，还是初学者，都希望有一份靠谱的文档，让大家少走弯路....

希望 DolphinScheduler 的开源团队能加强这块的建设，引入更好的一些可以良性循环的机制，解决这个问题。

xfworld
关注
专栏目录
dolphinscheduler 3.0 集成minio
weixin_40455124的博客
09-23 979
dolphinscheduler 3.0使用 3.8的docker-compose ，需要使用profile模式启动，这点与1.X不同，要求 Docker Compose 1.28.0+。dolphinscheduler 3.0 集成minio 的bucket 名称很容易让人认为还不成熟。默认需要按官网模式，先进行scheme初始化。就可以，当然minio 用户如不是默认的，修改。从代码看，这个名称是写死了，无法通过配置修改。这个默认名称来自以下代码。S3的工具函数代码如下。
DolphinScheduler单机环境安装部署
weixin_45952781的博客
06-01 4608
DolphinScheduler单机环境安装部署1、基础软件安装(必装项请自行安装)2、下载二进制tar.gz包3、创建部署用户并赋予目录操作权限4、ssh免密配置5、数据库初始化6、修改运行参数7、一键部署8、登录系统9、启停服务9、注意事项 本文参照官网安装部署，注意事项请直接看文章末尾。 1、基础软件安装(必装项请自行安装) 1)，PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可, 如MySQL则需要JDBC Driver 5.1.47+ 2），JDK
DolphinScheduler on k8s 云原生部署实践
奔跑的蜗牛的博客
03-31 1701
1. DolphinScheduler 的高效云原生部署模式，比原始部署模式节省了95%以上的人力资源和工作时间，提升了部署效率和成本效益。 2. 通过集成 GitOps 技术，我们提升了 DolphinScheduler 的 DevOps 管理能力，改善了软件交付效率和安全审计能力。 3. 通过集成新的云原生技术，我们为 DolphinScheduler 增加了水平扩展、健康探测和滚动部署等功能，提升了其灵活性和适应性。 4. 将 Prometheus 等可观测性技术整合到基础设施和服务网格中，显著提升了
DolphinScheduler-3.1.9 资源中心实践
欲望以提升热忱 毅力以磨平高山
07-06 1141
本文主要讲本地基础环境伪分布式简单搭建以及遇到的问题，并且以开启资源中心为例列举了 shell 脚本和 Python 脚本的示例，其中 shell 脚本没有问题，主要问题点在 Python，目前来看使用 python任务引入资源中心的 Python 无法成功，后续持续跟进研究，如果你有好的方案烦请和我交流。
群晖docker minio+思源笔记 S3 安装使用
最新发布
weixin_41843457的博客
08-21 406
​​‍。
MinIO：基于Go实现的高性能、兼容S3协议的对象存储
彭世瑜的博客
05-29 1722
译文：MinIO是一个基于Go实现的高性能、兼容S3协议的对象存储文档。
03.DolphinScheduler资源中心
jast
04-26 7100
当获取到任务组资源的任务结束运行后，会释放任务组资源，释放后会检查当前任务组是否有任务等待，如果有则标记优先级最好的任务可以运行，并新建一个可以执行的event。您可在新建任务定义时，可配置对应的任务组，并配置任务在任务组内运行的优先级。【任务组名称】：任务组配置页面显示的任务组名称，这里只能看到该项目有权限的任务组（新建任务组时选择了该项目），或作用在全局的任务组（新建任务组时没有选择项目）【项目名称】：任务组作用的项目，该项为非必选项，如果不选择，则整个系统所有项目均可使用该任务组。
dolphinscheduler 3.0.1 资源中心
10-26 3052
资源中心通常用于上传文件、UDF 函数和任务组管理。对于 standalone环境，可以选择本地文件目录作为上传文件夹（此操作不需要Hadoop部署）。当然，你也可以 选择上传到 Hadoop 或者 MinIO 集群。在这种情况下，您需要有 Hadoop（2.6+）或 MinION 等相关环境。
Apache DolphinScheduler的资源中心开启HDFS功能
Bulut0907
08-10 4959
这里会报【租户不存在】的错误。原因是admin用户的租户ID默认是0，和新创建的租户root没有关联上，需要将admin用户的租户ID修改成租户root的ID。在mysql数据库的操作如下。DolphinScheduler的资源中心默认是不能往HDFS上传文件的，需要我们配置进行开启。重启DolphinScheduler所有服务。需要先创建租户，如下所示。再次创建文件夹就成功了。......
DolphinScheduler 进阶（资源中心）
weixin_45417821的博客
09-28 2074
有些任务需要引用一些额外的资源，例如 MR、Spark 等任务须引用 jar 包，Shell 任务需要引用其他脚本等。可以对 $[yyyyMMddHHmmss] 任意分解组合，如 $[yyyyMMdd], $[HHmmss], $[yyyyMM-dd]。该函数用于加减月份， 第一个入口参数为[yyyyMMdd]，表示返回时间的格式 第二个入口参数为月份偏移量，表示加减多少个月。若执行的脚本需要一个格式为 yyyy-MM-dd 的前一天日期的参数，进行如下配置即可。1）点击资源中心，点击创建文件。
新一代调度系统Dolphinscheduler的部署和简单使用总结
東川
08-22 3762
一、软件简介 分布式易扩展的可视化工作流任务调度平台 Apache DolphinScheduler(incubator) 于17年在易观数科立项，19年3月开源， 19 年8月进入Apache 孵化器。 Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 整体架构 二、安装部署 支持单机，集群，docker，kubernetes，sk..
k8s部署dolphinscheduler3.1.2 踩坑记录
07-13
k8s部署dolphinscheduler 踩坑记录3.1.2，全流程
Apache DolphinScheduler征稿 — Apache DolphinScheduler 快速入门与部署
盛夏温暖流年
06-10 1774
目录 一.Apache DolphinScheduler 背景 二.Apache DolphinScheduler 介绍 三.Apache DolphinScheduler 特性 四.Apache DolphinScheduler 单机部署流程 1.Linux 操作系统版本要求 2.服务器建议配置 3.基础软件安装 4. 下载二进制 tar.gz 包并安装 5. 创建部署用户并赋予目录操作权限 6. ssh 免密配置 7. 数据库初始化 8. 修改运行参数 9. 一键...
Apache DolphinScheduler 单机部署方案
数据之路
02-25 7296
单机部署(Standalone) DolphinScheduler单机部署分为后端部署和前端部署两部分： 1、后端部署 1.1 : 基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可 JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 Z...
Apache DolphinScheduler集群部署方案
数据之路
02-25 4351
集群部署(Cluster) DolphinScheduler集群部署分为后端部署和前端部署两部分： 1、后端部署 1.1 : 基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可 JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooK...
S3学习笔记 - 极简S3服务器minio搭建
qq_39901646的博客
01-14 4799
S3 服务器搭建，文件上传和文件下载操作 S3服务器Minio搭建 docker run -d -p 9000:9000 \ -e MINIO_ACCESS_KEY=access_key \ -e MINIO_SECRET_KEY=secret_key \ -v /data:/data minio/minio \ server /data 打开浏览器：http://localhost:900...
dolphinscheduler资源中心
shenyunsese的专栏
04-11 980
资源中心提供文件管理，UDF管理，任务组管理。文件管理可以访问要执行的hive的sql文件UDF管理可以放置fllink执行的自定义udf函数jar包，hive自定义的UDF函数jar包以上的*.sql*.jar文件可以理解为资源，这些资源需要有个存储的地方，本文以minio存储作为介绍。
dolphinscheduler的一些资源参考
Z17839935459的博客
07-22 336
https://blog.csdn.net/samz5906/category_10057192.html
dolphinscheduler 2.0.6 资源中心改造方案一：通过SFTP下载文件
03-25 1659
使用调度过程中，并未涉及Hadoop生态圈，但是使用资源中心功能，必须搭建Hadoop或者AWS相关环境,耗时耗力耗费资源，因此对其进行改造，将文件上传到某一台服务器，其它服务器（worker）需要该资源时通过SFTP下载到本地使用
minio s3大文件上传
09-18
Minio是一个开源的对象存储服务器，它兼容Amazon S3 API。它可以帮助我们实现大文件的上传和下载。 在使用Minio上传大文件时，有几个关键的步骤需要遵循： 1. 连接Minio服务器：首先，我们需要使用Minio客户端库或Minio命令行工具连接到Minio服务器。我们需要提供服务器的访问密钥、访问密钥ID以及服务器的地址。 2. 创建存储桶：在上传大文件之前，我们需要在Minio服务器上创建一个存储桶来存储我们的文件。存储桶是Minio中用于组织和管理对象的容器。 3. 分片文件：对于大文件的上传，我们可以将大文件分割成更小的块，称为分片，然后逐个上传这些分片。这些分片可以是相同或不同大小。 4. 并发上传分片：为了加快上传速度，我们可以使用多线程或并发的方式同时上传多个分片。这样可以利用网络带宽更充分，并且在传输过程中可以更快地恢复错误。 5. 检查分片完整性：在上传完所有分片后，我们可以使用校验和或哈希算法来检查分片的完整性。这样可以确保服务器上存储的文件与原始文件完全一致。 6. 合并分片：最后，我们需要使用Minio提供的API将所有分片合并为一个完整的文件。合并后的文件将在存储桶中创建，并可以通过访问其URL来进行访问或下载。 总之，使用Minio的S3 API，我们可以方便地实现对大文件的上传和下载，并且通过分片和并发上传等技术，可以提高上传速度和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值