Apache DolphinScheduler Operator 安装与配置指南

Apache DolphinScheduler Operator 安装与配置指南

dolphinscheduler-operatorApache DolphinScheduler Kubernetes Operator.项目地址:https://gitcode.com/gh_mirrors/do/dolphinscheduler-operator

项目目录结构及介绍

Apache DolphinScheduler Operator 是用于管理 Apache DolphinScheduler 在 Kubernetes 环境中部署的一个控制器。以下是该开源项目的基本目录结构及其简要说明：

apache-dolphinscheduler-operator/
├── config                  # 配置相关文件夹，包含了CRD定义、示例配置等。
│   ├── samples             # 示例配置文件，包括DSWorker的PV、PVC创建模板，以及其他必要的YAML配置。
│   └── crd                 # 自定义资源定义(CRD)的模板文件。
├── Dockerfile              # Dockerfile，用于构建Operator的镜像。
├── Makefile                # 构建、部署和其他命令的Makefile。
├── README.md               # 项目的主要说明文档，提供了快速入门和一些关键点的介绍。
├── charts                  # Helm图表，如果项目支持Helm安装，将会存放于此。
├── cmd                     # 主命令执行文件夹，通常包含main.go，是程序入口。
├── pkg                     # 包含了操作逻辑、控制器逻辑等核心业务代码。
└── vendor                  # 第三方依赖包（如果有），用于项目构建。

项目启动文件介绍

项目的启动主要围绕 cmd 目录下的主程序进行。虽然具体的文件路径没有直接提供，但一般在 cmd/main.go 或类似的文件中可以找到程序的入口点。这个文件初始化Kubernetes客户端，设置控制器，并运行Operator的主循环。部署时，通常通过Docker容器或者Kubernetes的Deployment资源来运行Operator，具体启动参数和环境变量会在Dockerfile或K8s资源定义中指定。

项目的配置文件介绍

配置文件位置

配置文件主要分布在 config/samples 和 config/crd 中。这些文件用于演示如何配置DolphinScheduler Operator以及它管理的对象。

• config/samples：这里存储着示例YAML文件，如创建DSWorker所需的PersistentVolumeClaim (PVC)和PersistentVolume (PV)，以及DSWorker本身的部署配置。此外，可能还会有自定义资源（Custom Resource）的示例，展示如何定义一个DolphinScheduler实例。

• 配置自定义：在实际部署中，您可能需要调整config/samples中的配置文件以适应特定环境。例如，数据库配置、ZooKeeper连接信息、API服务的NodePort等关键设置通常需要根据实际情况进行修改。

关键配置文件举例

• ds-pv.yaml: 提供了PV的模板，需根据实际的存储系统配置hostPath或其他存储类。
• ds-pvc.yaml: PVC配置，用于请求存储空间，确保DolphinScheduler组件有足够存储。
• ds_v1alpha1_dsworker.yaml: DSWorker的Kubernetes资源定义，包括lib_pvc_name和log_pvc_name等挂载点，定义了DSWorker的运行方式。

部署前准备

• 修改配置文件中的静态资源配置，比如PV和PVC的路径和名称。
• 根据config/samples中的例子，准备相应的自定义资源定义YAML，调整数据库和Zookeeper等重要服务的连接设置。
• 使用提供的Makefile命令构建镜像并部署CRDs及Operator本身，如执行 make build && make manifests && kubectl apply -f config/crd/bases.

请注意，上述描述是基于通用开源项目结构和流程，具体细节应参照最新的项目文档或源码注释。

dolphinscheduler-operatorApache DolphinScheduler Kubernetes Operator.项目地址:https://gitcode.com/gh_mirrors/do/dolphinscheduler-operator