05-成神之路_ambari_Ambari实战-013-代码生命周期-metainfo-configFiles详解

TTBIGDATA

于 2024-09-28 16:22:09 发布

阅读量812

点赞数 31

分类专栏：成神之路文章标签： ambari bootstrap hadoop bigtop 大数据 linux 数据库

本文链接：https://blog.csdn.net/TTBIGDATA/article/details/142617361

版权

成神之路专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1.Redis 集群 `metainfo.xml` 示例

<?xml version="1.0"?>
<metainfo>
    <schemaVersion>2.0</schemaVersion>
    <services>
        <service>
            <!-- Redis 集群服务的基本信息 -->
            <name>REDIS</name>
            <displayName>Redis</displayName>
            <comment>
                Component Redis Power By JaneTTR . mail: 3832514048@qq.com ,git: https://gitee.com/tt-bigdata/ambari-env
            </comment>
            <version>7.4.0</version>

            <!-- Redis 集群组件定义 -->
            <components>
                <!-- Redis 主节点组件 -->
                <component>
                    <name>REDIS_MASTER</name>
                    <displayName>Redis Master</displayName>
                    <category>MASTER</category>
                    <cardinality>3+</cardinality> <!-- Redis 集群至少需要 3 个主节点 -->
                    <versionAdvertised>true</versionAdvertised>
                    <commandScript>
                        <script>scripts/redis_master.py</script> <!-- Python 脚本 -->
                        <scriptType>PYTHON</scriptType>
                    </commandScript>
                </component>

                <!-- Redis 从节点组件 -->
                <component>
                    <name>REDIS_SLAVE</name>
                    <displayName>Redis Slave</displayName>
                    <category>SLAVE</category>
                    <cardinality>3+</cardinality> <!-- 从节点可以是 0 或多个 -->
                    <versionAdvertised>true</versionAdvertised>
                    <commandScript>
                        <script>scripts/redis_slave.py</script> <!-- Python 脚本 -->
                        <scriptType>PYTHON</scriptType>
                    </commandScript>
                </component>

                <!-- Redis 客户端组件 -->
                <component>
                    <name>REDIS_CLIENT</name>
                    <displayName>Redis Client</displayName>
                    <category>CLIENT</category>
                    <cardinality>0+</cardinality> <!-- 客户端是可选的，可以部署多个 -->
                    <versionAdvertised>true</versionAdvertised>
                    <commandScript>
                        <script>scripts/redis_client.py</script> <!-- Python 脚本 -->
                        <scriptType>PYTHON</scriptType>
                    </commandScript>
                    <configFiles>
                        <configFile>
                            <type>env</type>
                            <fileName>redis-site.xml</fileName>
                            <dictionaryName>redis-site</dictionaryName>
                        </configFile>
                        <configFile>
                            <type>env</type>
                            <fileName>redis-env.sh</fileName>
                            <dictionaryName>redis-env</dictionaryName>
                        </configFile>
                    </configFiles>
                </component>
            </components>

            <!-- 操作系统相关 -->
            <osSpecifics>
                <osSpecific>
                    <osFamily>any</osFamily> <!-- 支持任何操作系统 -->
                    <packages>
                        <package>
                            <name>redis_${stack_version}</name>
                        </package>
                    </packages>
                </osSpecific>
            </osSpecifics>

            <!-- Redis 服务健康检查 -->
            <commandScript>
                <script>scripts/service_check.py</script> <!-- 健康检查 Python 脚本 -->
                <scriptType>PYTHON</scriptType>
                <timeout>300</timeout>
            </commandScript>

            <!-- Redis 服务不依赖其他服务 -->
            <!-- 如果有其他依赖项，可以在这里定义 -->

            <!-- 配置依赖 -->
            <configuration-dependencies>
                <config-type>redis-site</config-type>
                <config-type>redis-env</config-type>
            </configuration-dependencies>
        </service>
    </services>
</metainfo>

在这个文件中，我们定义了 Redis 集群的三个关键组件： Redis Master、Redis Slave 和 Redis Client。这些组件由 Python 脚本控制，它们的详细定义帮助 Ambari 在集群中进行服务管理。

2. `configFiles` 的作用 📂

configFiles 是 Redis 配置文件的重要部分。它的作用可以归纳为以下几点：

type：指定生成文件的类型（如 xml、env、properties 等）。
fileName：指定生成的文件名称。
dictionary：包含配置属性的数据字典，这与 Ambari 内部的配置包管理相关。

在这里插入图片描述

2.1 配置后的效果 🎯

在这里插入图片描述

下载客户端配置可以把当前环境的配置导出

请求地址：http://localhost:28080/api/v1/clusters/dev/services/REDIS/components/REDIS_CLIENT?format=client_config_tar

他会把配置全部导出，并可以查看实时的配置，但是前提要配置正确

在这里插入图片描述

2.2 配置作用域 🔍

根据代码的初步猜测，配置文件的定义仅对 metainfo/services/service/components/component/ 下，name 包含 _CLIENT 的组件生效。这意味着配置文件将主要用于客户端组件。

<?xml version="1.0"?>
<metainfo>
    <services>
        <service>
            <!-- Redis 集群组件定义 -->
            <components>
                <!-- Redis 主节点组件 -->
                <component>
                    <name>REDIS_MASTER</name>
                    <!-- 非重点忽略 -->
                </component>
                <!-- Redis 从节点组件 -->
                <component>
                    <name>REDIS_SLAVE</name>
                    <!-- 非重点忽略 -->
                </component>

                <!-- Redis 客户端组件 -->
                <component>
                    <name>REDIS_CLIENT</name>
                    <displayName>Redis Client</displayName>
                     <!-- 核心参数-------核心中的核心 请往这里看👀 -->
                     <!-- 核心参数-------核心中的核心 请往这里看👀 -->
                    <configFiles>
                        <configFile>
                            <type>xml</type>
                            <fileName>redis-site.xml</fileName>
                            <dictionaryName>redis-site</dictionaryName>
                        </configFile>
                        <configFile>
                            <type>env</type>
                            <fileName>redis-env.sh</fileName>
                            <dictionaryName>redis-env</dictionaryName>
                        </configFile>
                    </configFiles>
                    <!-- 核心参数-------核心中的核心 请往这里看👀 -->
                     <!-- 核心参数-------核心中的核心 请往这里看👀 -->
                </component>
            </components>
        </service>
    </services>
</metainfo>

这段代码定义了客户端的配置文件，它们将在生成时渲染为 xml 或 env 格式的文件。

在这里插入图片描述

代码片段如下：

package org.apache.ambari.server.state;

import java.util.ArrayList;
import java.util.List;

import javax.xml.bind.annotation.XmlAccessType;
import javax.xml.bind.annotation.XmlAccessorType;
import javax.xml.bind.annotation.XmlElement;
import javax.xml.bind.annotation.XmlElementWrapper;
import javax.xml.bind.annotation.XmlElements;

import org.apache.commons.lang.builder.ToStringBuilder;
import org.apache.commons.lang.builder.ToStringStyle;

@XmlAccessorType(XmlAccessType.FIELD)
public class ComponentInfo {
  private String name;
  private String displayName;
  private String category;
  private boolean deleted;
  private String cardinality;
  
  @XmlElement(name="versionAdvertised")
  private Boolean versionAdvertisedField;
  //省略无关部分内容   
  //省略无关部分内容  
  //省略无关部分内容 
    
  /**
   * Client configuration files
   * List of files to download in client configuration tar
   */
  // 核心参数-------核心中的核心 请往这里看👀 
  // 核心参数-------核心中的核心 请往这里看👀 
  @XmlElementWrapper(name = "configFiles")
  @XmlElements(@XmlElement(name = "configFile"))
  private List<ClientConfigFileDefinition> clientConfigFiles;
  // 核心参数-------核心中的核心 请往这里看👀 
  // 核心参数-------核心中的核心 请往这里看👀
    
  //省略无关部分内容   
  //省略无关部分内容  
  //省略无关部分内容   
  /**
   * Added at schema ver 2
   */
  @XmlElementWrapper(name="customCommands")
  @XmlElements(@XmlElement(name="customCommand"))
  private List<CustomCommandDefinition> customCommands;

  /**
   * bulk commands shown in the Hosts actions
   * */
  @XmlElement(name="bulkCommands")
  private BulkCommandDefinition bulkCommandDefinition;

  /**
   * Component dependencies to other components.
   */
  @XmlElementWrapper(name="dependencies")
  @XmlElements(@XmlElement(name="dependency"))
  private List<DependencyInfo> dependencies = new ArrayList<>();

  @XmlElementWrapper(name="configuration-dependencies")
  @XmlElements(@XmlElement(name="config-type"))
  private List<String> configDependencies;

  /**
   * Auto-deployment information.
   * If auto-deployment is enabled and the component doesn't meet the cardinality requirement,
   * the component is auto-deployed to the cluster topology.
   */
  @XmlElement(name="auto-deploy")
  private AutoDeployInfo autoDeploy;

  @XmlElements(@XmlElement(name = "recovery_enabled"))
  private boolean recoveryEnabled = false;

  /**
   * Used to determine if reassign is allowed
   * */
  @XmlElements(@XmlElement(name = "reassignAllowed"))
  private String reassignAllowed;

  private String timelineAppid;

  @XmlElement(name="customFolder")
  private String customFolder;
  //省略无关部分内容   
  //省略无关部分内容  
  //省略无关部分内容  
}

2.3 `type` 类型的选择 🎛️

⬇️⬇️⬇️查看全部内容⬇️⬇️⬇️

更多详细内容请关注我们的微信公众号：发送"文章"关键字获取

或加入QQ1群，了解版本动向，解答大数据问题。

⬆️⬆️⬆️查看全部内容⬆️⬆️⬆️

3.5 打包与下载 🗂️

生成配置文件后，Ambari 会将这些文件打包并返回给用户。这个打包和下载的过程发生在 ComponentService.java 中，通过 createClientConfigResource 方法实现：

private Response createClientConfigResource(String body, HttpHeaders headers, UriInfo ui,
                                      String componentName) {
    String fileName =  filePrefixName + "-configs" + Configuration.DEF_ARCHIVE_EXTENSION;
    Response response = handleRequest(headers, body, ui, Request.Type.GET,
            createResource(Resource.Type.ClientConfig, mapIds));

    // 如果响应有错误，直接返回
    if (response.getStatus() != 200) {
      return response;
    }

    Response.ResponseBuilder rb = Response.status(Response.Status.OK);
    String tmpDir = new Configuration().getProperty(Configuration.SERVER_TMP_DIR.getKey());
    File file = new File(tmpDir, fileName);
    InputStream resultInputStream = new FileInputStream(file);

    String contentType = Configuration.DEF_ARCHIVE_CONTENT_TYPE;
    rb.header("Content-Disposition",  "attachment; filename=\"" + fileName + "\"");
    rb.entity(resultInputStream);
    return rb.type(contentType).build();
}