【成神之路】Ambari实战-015-代码生命周期-metainfo-category详解

最新推荐文章于 2024-11-03 18:12:46 发布
最新推荐文章于 2024-11-03 18:12:46 发布
阅读量1.3k 收藏 22
点赞数 15
分类专栏： 成神之路 文章标签： elasticsearch ambari bigtop 大数据 java hadoop 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TTBIGDATA/article/details/142683518
版权

1.Redis 集群 metainfo.xml 示例

<?xml version="1.0"?>
<metainfo>
    <schemaVersion>2.0</schemaVersion>
    <services>
        <service>
            <!-- Redis 集群服务的基本信息 -->
            <name>REDIS</name>
            <displayName>Redis</displayName>
            <comment>
                Component Redis Power By JaneTTR . mail: 3832514048@qq.com ,git: https://gitee.com/tt-bigdata/ambari-env
            </comment>
            <version>7.4.0</version>

            <!-- Redis 集群组件定义 -->
            <components>
                <!-- Redis 主节点组件 -->
                <component>
                    <name>REDIS_MASTER</name>
                    <displayName>Redis Master</displayName>
                    <category>MASTER</category>
                    <cardinality>3+</cardinality> <!-- Redis 集群至少需要 3 个主节点 -->
                    <versionAdvertised>true</versionAdvertised>
                    <commandScript>
                        <script>scripts/redis_master.py</script> <!-- Python 脚本 -->
                        <scriptType>PYTHON</scriptType>
                    </commandScript>
                </component>

                <!-- Redis 从节点组件 -->
                <component>
                    <name>REDIS_SLAVE</name>
                    <displayName>Redis Slave</displayName>
                    <category>SLAVE</category>
                    <cardinality>3+</cardinality> <!-- 从节点可以是 0 或多个 -->
                    <versionAdvertised>true</versionAdvertised>
                    <commandScript>
                        <script>scripts/redis_slave.py</script> <!-- Python 脚本 -->
                        <scriptType>PYTHON</scriptType>
                    </commandScript>
                </component>

                <!-- Redis 客户端组件 -->
                <component>
                    <name>REDIS_CLIENT</name>
                    <displayName>Redis Client</displayName>
                    <category>CLIENT</category>
                    <cardinality>0+</cardinality> <!-- 客户端是可选的，可以部署多个 -->
                    <versionAdvertised>true</versionAdvertised>
                    <commandScript>
                        <script>scripts/redis_client.py</script> <!-- Python 脚本 -->
                        <scriptType>PYTHON</scriptType>
                    </commandScript>
                    <configFiles>
                        <configFile>
                            <type>xml</type>
                            <fileName>redis-site.xml</fileName>
                            <dictionaryName>redis-site</dictionaryName>
                        </configFile>
                        <configFile>
                            <type>xml</type>
                            <fileName>redis-env.sh</fileName>
                            <dictionaryName>redis-env</dictionaryName>
                        </configFile>
                    </configFiles>
                </component>
            </components>

            <!-- 操作系统相关 -->
            <osSpecifics>
                <osSpecific>
                    <osFamily>any</osFamily> <!-- 支持任何操作系统 -->
                    <packages>
                        <package>
                            <name>redis_${stack_version}</name>
                        </package>
                    </packages>
                </osSpecific>
            </osSpecifics>

            <!-- Redis 服务健康检查 -->
            <commandScript>
                <script>scripts/service_check.py</script> <!-- 健康检查 Python 脚本 -->
                <scriptType>PYTHON</scriptType>
                <timeout>300</timeout>
            </commandScript>

            <!-- Redis 服务不依赖其他服务 -->
            <!-- 如果有其他依赖项，可以在这里定义 -->

            <!-- 配置依赖 -->
            <configuration-dependencies>
                <config-type>redis-site</config-type>
                <config-type>redis-env</config-type>
            </configuration-dependencies>
        </service>
    </services>
</metainfo>

在这个文件中，我们定义了 Redis 集群的三个关键组件： Redis Master、Redis Slave 和 Redis Client。这些组件由 Python 脚本控制，它们的详细定义帮助 Ambari 在集群中进行服务管理。

2 category 作用 🛠️

2.1. 从定义角度理解 🎯

在 Ambari 的 metainfo.xml 文件中，category 属性用于定义服务组件的角色。根据不同组件的功能，category 的值可以是 MASTER、SLAVE 或 CLIENT。我们先以 Redis 为例，看看它是如何配置的。

2.1.1 Redis 示例 🚀：

  1. MASTER：Redis 主节点。MASTER 组件负责处理所有写操作，并管理从节点的数据同步。在页面上，MASTER 组件会出现在 “Master” 选择页面中，供用户选择合适的节点部署主节点。

    代码示例：

    <component>
    <name>REDIS_MASTER</name>
    <displayName>Redis Master</displayName>
    <category>MASTER</category> <!-- 该组件定义为主节点 -->
    <versionAdvertised>true</versionAdvertised>
    <commandScript>
        <script>scripts/redis_master.py</script> <!-- 控制 Redis Master 的脚本 -->
        <scriptType>PYTHON</scriptType>
    </commandScript>
</component>

    作用：MASTER 组件负责管理数据的写操作，并通过同步机制将数据复制到从节点。通过设置 category="MASTER"，Ambari 知道这个组件需要在页面的主节点部分展示，并让用户选择部署主节点的服务器。

  2. SLAVE：Redis 从节点。SLAVE 组件负责从主节点复制数据，以确保数据的高可用性和冗余。在页面上，SLAVE 组件会出现在从节点选择界面中，允许用户选择多个节点来部署从节点。

    代码示例：

    <component>
    <name>REDIS_SLAVE</name>
    <displayName>Redis Slave</displayName>
    <category>SLAVE</category> <!-- 该组件定义为从节点 -->
    <versionAdvertised>true</versionAdvertised>
    <commandScript>
        <script>scripts/redis_slave.py</script> <!-- 控制 Redis Slave 的脚本 -->
        <scriptType>PYTHON</scriptType>
    </commandScript>
</component>

    作用：SLAVE 组件从主节点同步数据，确保 Redis 集群的高可用性。Ambari 通过 category="SLAVE" 将其展示在从节点部分，用户可以在多个节点上选择部署。

  3. CLIENT：Redis 客户端。CLIENT 组件用于与集群交互，提供接口供用户发送请求并获取响应。

    代码示例：

    <component>
    <name>REDIS_CLIENT</name>
    <displayName>Redis Client</displayName>
    <category>CLIENT</category> <!-- 该组件定义为客户端 -->
    <versionAdvertised>true</versionAdvertised>
    <commandScript>
        <script>scripts/redis_client.py</script>
        <scriptType>PYTHON</scriptType>
    </commandScript>
</component>

    作用：CLIENT 组件提供与 Redis 集群交互的能力。Ambari 会在客户端部分展示 CLIENT 组件，用于在用户设备或应用服务器上部署。

Redis 中 category 的作用 💡：

  • 分类显示：Redis 的 MASTER 组件在页面中会显示为主节点，而 SLAVE 组件会显示在从节点部分，方便用户选择合适的节点进行部署。

  • 部署控制：通过 category 属性，Ambari 可以区分主节点、从节点和客户端，并相应地控制它们的部署。MASTER 可以部署在一个或多个节点上，SLAVE 组件则可以在多个节点上实现分布式部署。

2.1.2 HDFS 示例 🛠️：

接下来，我们看看 HDFS 服务在 Ambari 中的配置方式。

  1. MASTER：HDFS 主节点。在 HDFS 中，NAMENODE 是主节点，负责管理文件系统的元数据。它的主要职责是协调所有的 DATANODE，确保数据存储和访问的正确性。

    代码示例：

    <component>
    <name>HDFS_NAMENODE</name>
    <displayName>HDFS NameNode</displayName>
    <category>MASTER</category> <!-- 该组件定义为主节点 -->
    <commandScript>
        <script>scripts/namenode.py</script>
        <scriptType>PYTHON</scriptType>
    </commandScript>
</component>

    作用：NAMENODE 作为 HDFS 的核心组件，管理元数据并协调数据块的存储。通过 category="MASTER"，Ambari 知道它是主节点，并在 “Master” 选择界面展示。

  2. SLAVE：HDFS 从节点。在 HDFS 中，DATANODE 是从节点，负责存储实际的数据块，并与 NAMENODE 通信。

    代码示例：

    <component>
    <name>HDFS_DATANODE</name>
    <displayName>HDFS DataNode</displayName>
    <category>SLAVE</category> <!-- 该组件定义为从节点 -->
    <commandScript>
        <script>scripts/datanode.py</script>
        <scriptType>PYTHON</scriptType>
    </commandScript>
</component>

    作用：DATANODE 组件负责存储 HDFS 集群中的实际数据。通过 category="SLAVE"，Ambari 会将其展示在从节点部分，允许用户选择多个节点来部署 DATANODE。

  3. CLIENT：HDFS 客户端。HDFS_CLIENT 允许用户与文件系统进行交互，执行诸如文件上传和下载的操作。

    代码示例：

    <component>
    <name>HDFS_CLIENT</name>
    <displayName>HDFS Client</displayName>
    <category>CLIENT</category> <!-- 该组件定义为客户端 -->
    <commandScript>
        <script>scripts/client.py</script>
        <scriptType>PYTHON</scriptType>
    </commandScript>
</component>

    作用：HDFS_CLIENT 提供与 HDFS 文件系统的交互接口，允许用户执行文件操作。Ambari 会在客户端部分展示 CLIENT 组件，用于选择是否安装客户端工具。

HDFS 中 category 的作用 🔧：

  • 分类显示：在 HDFS 服务的安装过程中，NAMENODE 组件会出现在主节点选择界面，而 DATANODE 组件则会出现在从节点选择界面，方便用户配置文件系统的核心和存储节点。

  • 部署控制：通过 category 属性，Ambari 能够区分 NAMENODE 和 DATANODE，并相应地控制它们的部署。NAMENODE 通常部署在一个或两个节点上（高可用模式），而 DATANODE 则会在多个节点上分布部署。

2.2 从请求到验证的流程详解 🚀

在 Ambari 中添加服务时，系统会根据现有集群节点和服务的依赖关系生成推荐部署方案。前端将请求发送到后端，后端返回相应的推荐结果供用户选择。这个过程涉及多个步骤，下面以 Zookeeper 服务为例，详细说明每个环节。

2.2.1 添加服务 🛠️

在服务选择页面，我们已经安装了 Redis，这次选择 Zookeeper 进行安装。用户在 Ambari 的 UI 中点击“下一步”时，系统会开始为新服务生成推荐方案。

在这里插入图片描述

2.2.2 浏览器发起请求 🌐

当用户点击“下一步”时，浏览器会发起一个 HTTP 请求，将用户选择的服务和集群中所有节点的信息发送给后端。这个请求的目标是让 Ambari 后端根据集群拓扑结构生成组件的推荐部署方案。

在这里插入图片描述

例如，请求可能包含如下信息：

curl 'http://localhost:28080/api/v1/stacks/BIGTOP/versions/3.2.0/recommendations' \
  -H 'Accept: application/json, text/javascript, */*; q=0.01' \
  -H 'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' \
  -H 'Cache-Control: no-cache' \
  -H 'Connection: keep-alive' \
  -H 'Content-Type: text/plain' \
  -H 'Cookie: _ga=GA1.1.1591965935.1720631763; apt.uid=AP-YFGMCGUNNIFB-2-1726927068139-89959811.0.2.a2e3917a-4f22-4c24-8671-436b74b600a2; _ga_0C4M1PWYZ7=GS1.1.1726929800.18.0.1726929803.0.0.0; _ga_T11SF3WXX2=GS1.1.1726929800.16.0.1726929803.57.0.0; _ga_K2SPJK2C73=GS1.1.1726929800.16.0.1726929803.57.0.0; AMBARISESSIONID=node01ef02iyrwkd3sdmg9aaxv48xe1.node0' \
  -H 'Origin: http://localhost:28080' \
  -H 'Pragma: no-cache' \
  -H 'Referer: http://localhost:28080/' \
  -H 'Sec-Fetch-Dest: empty' \
  -H 'Sec-Fetch-Mode: cors' \
  -H 'Sec-Fetch-Site: same-origin' \
  -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0' \
  -H 'X-Requested-By: X-Requested-By' \
  -H 'X-Requested-With: XMLHttpRequest' \
  -H 'sec-ch-ua: "Microsoft Edge";v="129", "Not=A?Brand";v="8", "Chromium";v="129"' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'sec-ch-ua-platform: "Windows"' \
  --data-raw '{"hosts":["centos1","centos2","centos3"],"services":["ZOOKEEPER","REDIS"],"recommend":"host_groups","recommendations":{"blueprint":{"host_groups":[{"name":"host-group-1","components":[{"name":"REDIS_CLIENT"},{"name":"REDIS_MASTER"},{"name":"REDIS_SLAVE"}]},{"name":"host-group-2","components":[{"name":"REDIS_CLIENT"},{"name":"REDIS_MASTER"},{"name":"REDIS_SLAVE"}]},{"name":"host-group-3","components":[{"name":"REDIS_CLIENT"},{"name":"REDIS_MASTER"},{"name":"REDIS_SLAVE"}]}]},"blueprint_cluster_binding":{"host_groups":[{"name":"host-group-1","hosts":[{"fqdn":"centos1"}]},{"name":"host-group-2","hosts":[{"fqdn":"centos2"}]},{"name":"host-group-3","hosts":[{"fqdn":"centos3"}]}]}}}'

在这里插入图片描述

2.2.4.3 处理主机与 MASTER 组件的配对

⬇️⬇️⬇️查看全部内容⬇️⬇️⬇️

更多详细内容请关注我们的微信公众号：发送"文章"关键字获取

或加入QQ1群，了解版本动向，解答大数据问题。

⬆️⬆️⬆️查看全部内容⬆️⬆️⬆️

核心内容已经结束，后面只是为了拼凑主机信息

在这里插入图片描述

在这里插入图片描述

2.2.4.4 页面渲染结果

Redis Master 和 ZooKeeper Server 正确分配到了 centos1、centos2 和 centos3，这是通过前述所有步骤最终生成的结果，确保了页面上只显示 MASTER 组件，并且所有分配情况与返回的推荐一致。其实我们能看到的master 内容 都是经过过滤显示在该页面中。

在这里插入图片描述

TTBIGDATA
关注
专栏目录
centos8 Ambari-2.7.6.3+HDP-3.3.1离线安装详细教程（附安装包）
QYmufeng的博客
01-16 4578
centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程（附安装包）
【成神之路】Ambari实战-016-代码生命周期-metainfo-themes详解
TTBIGDATA的博客
10-08 1237
ambari+bigtop 更换UI样式。源码解读
【成神之路】Ambari实战-017-代码生命周期-metainfo-commandScript详解
TTBIGDATA的博客
10-11 1818
Ambari 是一款强大的大数据集群管理工具，它简化了 Hadoop 及其他大数据组件的部署、管理和监控。通过 Ambari，用户能够以图形化界面或 API 的方式轻松管理集群中的各项服务。在 Ambari 的服务管理过程中，文件起着至关重要的作用，它定义了服务的元数据，并通过来执行服务和组件的各种操作。是一个高度灵活的配置项，可以用来实现服务启动、停止、检查健康等操作，并支持用户自定义命令脚本。可以在两个不同的层次上使用：服务级别和组件级别。在服务级别，通常用于执行服务的整体操作，比如服务健康检查。
【成神之路】Ambari实战-014-代码生命周期-metainfo-cardinality详解
TTBIGDATA的博客
10-01 998
常见的1：表示该组件在集群中只能有 1 个实例，适用于唯一性组件，例如数据库主节点。1+：表示该组件至少需要 1 个实例，但可以有多个实例，适合扩展性服务，如负载均衡器。0+：表示该组件是可选的，可能没有实例或有多个实例，常用于客户端组件，如。3+：表示该组件至少需要 3 个实例，通常用于高可用性场景，如，确保集群的健壮性和可扩展性。例如，在 Redis 集群的文件中，我们为设置了，这意味着集群中必须至少部署 3 个 Redis 主节点，确保系统的高可用性和数据安全性。值的定义描述示例精确值。
【成神之路】Ambari实战-013-代码生命周期-metainfo-configFiles详解
TTBIGDATA的博客
09-28 1466
用户发起 HTTP 请求，下载 Redis 客户端的配置文件包。… 省略…6.最后，Ambari 将打包好的配置文件通过 HTTP 响应返回给用户。
【成神之路】Ambari实战-012-代码生命周期-metainfo 结构深入解读
TTBIGDATA的博客
09-23 1561
StackInfo包含多个和，同时定义了全局配置。包含多个、配置文件、快捷链接等相关属性。是的组成部分，定义了具体的组件内容，例如 Redis Master 和 Redis Slave。ThemeInfo和是的附加部分，用于定义快捷链接、UI 配置和服务配置。定义了扩展相关信息，并包含支持的堆栈和父版本信息。
【成神之路】Ambari实战-011-代码生命周期-metainfo加载原理深度剖析
TTBIGDATA的博客
09-22 934
在 Ambari 中， 是定义服务和组件的关键配置文件。Ambari 通过解析它来加载和管理服务的整个生命周期。今天，我们将深入探索 metainfo.xml 是如何被解析的，并以 Redis 集群服务为例，逐步解读 Ambari 的处理过程。🎯 是 Ambari Stack 定义中的核心文件，它详细描述了服务的名称、版本、组件、依赖关系、操作系统兼容性等信息。 在这个文件中，我们定义了 Redis 集群的三个关键组件： Redis Master、Redis Slave 和 Redis Client。这些
【成神之路】Ambari实战-051-UI-如何通过配置修改ambari样式-前端View扩展
TTBIGDATA的博客
10-10 2049
作用: 总体介绍页面渲染的两种方式，分别是基于和的渲染。渲染方式：基于theme.json的widget配置渲染。：前端通过配置来控制不同的控件渲染。使用了 HBS 模板技术进行前端控件渲染🎨在 Ambari 的 UI 配置页面中，通过 Handlebars (HBS) 模板技术动态生成 HTML 结构。结合数据源，这种技术能够灵活地渲染各种配置控件，使页面展现更具扩展性和定制化能力。主题配置的渲染路径📂主题配置下，控件渲染使用目录中的模板。例如，。高级设置页面的渲染路径🛠️。
【成神之路】Ambari实战-050-UI-如何通过配置修改ambari样式
TTBIGDATA的博客
10-09 1763
在Ambari中，通过自定义UI控件（Widget），你可以灵活调整配置项的展现形式，使其更符合实际需求。这篇文章将详细介绍各种控件的使用，并提供代码示例和实际应用场景，帮助你成为UI配置的行家！💻✨。
apache-ambari-2.7.6-src.tar.gz
11-17
这个"apache-ambari-2.7.6-src.tar.gz"文件是一个包含Ambari 2.7.6版本源代码的压缩包，用户可以下载后根据自己的需求进行编译和定制。 首先，让我们深入了解一下Apache Ambari的核心功能： 1. **集群部署**：...
Linux运维-Hadoop集群之ambari实践-30ambari-agent配置及启动.mp4
05-30
Linux运维-Hadoop集群之ambari实践-30ambari-agent配置及启动.mp4
easy-es使用以及Es和MySQL同步
weixin_51918722的博客
10-31 448
它主要就是简化了ES相关的API, 使用起来像MP一样舒服。
掌握ElasticSearch（六）：分析过程
TracyCoder的博客
10-30 793
Elasticsearch 的分析过程是将文本数据转换成适合搜索的形式的关键步骤。这一过程主要包括四个阶段：字符过滤、分词、词条过滤和词条索引。描述：用户可以根据需要组合不同的分词器、字符过滤器和词条过滤器来创建自定义分析器。示例。
CentOS 9 Stream 上安装 Git
小强不是坑
10-31 468
CentOS 9 Stream 上安装 Git
【Git】如何在 Git 中高效合并分支：完整指南
人生苦短，睡觉要紧，睡醒再说
11-03 509
在现代软件开发中，版本控制系统是不可或缺的工具，而 Git 则是目前最流行的选择之一。合并分支是 Git 工作流程中一项至关重要的操作，它不仅涉及将不同的开发工作整合到一起，还要求开发者具备解决冲突的能力。无论是与团队协作，还是处理自己的功能开发，理解 Git 中的合并过程将大大提高工作效率。本篇文章将详细介绍如何在 Git 中高效合并分支，从基础操作到解决冲突的技巧，确保你能够轻松掌握这一重要技能。
Linux安装es和kibana
10-29 1159
linux安装es和kibana
Elasticsearch Date类型，时间存储相关说明
易的博客
10-31 521
存储的时候就可以用JSON Format一下再存储，然后取出来后，在用JSON.toBean(json,POJO.class) ，就解决了，这里利用的是相同 JSON 包转成 JSON ，然后又toBean 回来，是没问题的，然后 Elasticsearch 也支持存储 JSON。直接设置format为你想要的格式，比如“yyyy-MM-dd HH:mm:ss” 然后存储的时候，指定格式，并且 Mapping 也是指定相同的format。摘要由CSDN通过智能技术生成。
重学SpringBoot3-整合 Elasticsearch 8.x (一)客户端方式
最新发布
CoderJia的学习之路
11-03 710
Spring Boot 3 中推荐使用 Spring Data Elasticsearch 提供的客户端来访问 Elasticsearch，而不再使用低层次的 Transport Client。Elasticsearch 8.x 推出后，官方推荐使用 Java REST Client 和 ElasticsearchClient，Spring Data Elasticsearch 也支持这些新的客户端。在 Spring Boot 3 中集成 Elasticsearch 8.x 可以通过多种方式实现，包括。
Faces in Things数据集: 由麻省理工学院、微软等联合发布，探索人类视觉错觉的新里程碑
u011559552的博客
10-30 877
2024-09-24，由麻省理工学院、微软、丰田研究院、NVIDIA联合发布的 Faces in Things，为我们打开了研究人类视觉错觉——尤其是面部错觉（Pareidolia）的新篇章。专注于人类视觉系统如何在各种随机刺激中检测到类似面孔的结构，例如在咖啡污渍或天空中的云朵中看到面孔。
docker ambari-agent 设置ambari-server ip
06-08
要在Docker容器中设置Ambari-agent的Ambari-server IP地址，可以使用以下步骤： 1. 启动Ambari-agent容器时，使用`-e`选项设置`AMBARI_SERVER_HOST`环境变量，并将其设置为Ambari-server的IP地址。例如： ``` docker run -e AMBARI_SERVER_HOST=<ambari_server_ip> ... ``` 2. 在容器内部，编辑`/etc/ambari-agent/conf/ambari-agent.ini`文件，将`[server]`部分中的`hostname`设置为Ambari-server的IP地址。例如： ``` [server] hostname = <ambari_server_ip> ``` 3. 重启Ambari-agent服务，以使更改生效。例如： ``` ambari-agent restart ``` 这样，Ambari-agent将能够与指定的Ambari-server进行通信。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值