Google Cloud Dataproc 初始化操作（Initialization Actions）指南

Google Cloud Dataproc 初始化操作（Initialization Actions）指南

initialization-actionsRun in all nodes of your cluster before the cluster starts - lets you customize your cluster项目地址:https://gitcode.com/gh_mirrors/in/initialization-actions

本指南旨在帮助您了解并使用从GitHub仓库 GoogleCloudDataproc/initialization-actions 中获取的初始化脚本，用于自定义您的Google Cloud Dataproc集群设置。以下是关键内容模块：

1. 目录结构及介绍

Google Cloud Dataproc 的初始化动作位于上述GitHub仓库中，其目录结构精心组织以支持多种功能和组件的安装。典型的目录结构大致如下：

.
├── LICENSE
├── CONTRIBUTING.md
├── README.md
└── scripts
    ├── action1.sh
    ├── action2.py
    ├── ...
    └── utilities
        ├── common.sh
        └── function_library.py

• LICENSE: 许可协议文件。
• CONTRIBUTING.md: 对于想要贡献代码的开发者，这个文件详细说明了如何提交改进或添加新初始化脚本的过程。
• README.md: 提供项目概述，包括快速入门指导和重要注意事项。
• scripts: 包含所有的初始化脚本。每个.sh或.py文件代表一个特定的功能，如安装额外的Hadoop生态系统组件、配置监控等。
• utilities: 内部使用的辅助脚本和函数库，增强脚本的复用性和功能性。

2. 启动文件介绍

在该仓库中，并没有单一的“启动文件”适用于所有情况，因为初始化动作是通过gcloud命令或者clusters create API调用来指定的，并且这些命令是与Google Cloud SDK交互时执行的。但是，从开发和部署的角度看，每个具体的初始化脚本（如 scripts/action1.sh）可以视为一个单独的“启动”指令，用于在创建Dataproc集群时执行特定任务。

例如，如果您想运行action1.sh，您会在创建集群时这样使用gcloud命令：

gcloud dataproc clusters create <集群名称> --initialization-actions gs://<存储桶路径>/action1.sh

3. 配置文件介绍

本项目中的配置并不传统意义上表现为独立的配置文件。初始化动作主要通过脚本参数、环境变量以及云存储中的资源来进行配置。对于需要特定配置的情况，配置通常直接内嵌在各个初始化脚本中，或者通过传递到脚本的命令行参数实现个性化调整。例如，若脚本需要特定的版本号或API密钥，这些值可以通过--properties参数或环境变量在创建集群时指定。

为了定制化配置，您可以：

• 在使用初始化脚本时通过gcloud命令传递属性值。
• 修改脚本内的默认变量值来适应您的需求。
• 利用环境变量进行动态配置，如利用/usr/share/google/get_metadata_value工具读取Dataproc节点上的元数据。

综上所述，虽然此开源项目不包含典型的集中式配置文件，但通过脚本本身的定制和命令行参数，实现了高度灵活的配置管理。

initialization-actionsRun in all nodes of your cluster before the cluster starts - lets you customize your cluster项目地址:https://gitcode.com/gh_mirrors/in/initialization-actions