【==== Ambari ====】
文章平均质量分 87
Ambari + HDP 集群管理工具,安装配置,Kerberos,Ranger , HDP集群的管理监控
阿龙先生啊
懂点大数据运维, 会写两三行代码,自学了一些 docker, kubernetes。博客主要分享大数据、Linux、云原生相关知识。 目前职位大数据工程师,长远打算做个会敲代码的厨子。
展开
-
【Ambari】Docker 安装Ambari 大数据单机版本
1.1 部署 docker1.2 部署 docker-compose创建网络1.3 版本说明组件版本操作系统ambari2.7.4HDP3.1.4HDP-GPL3.1.4HDP-UTILS1.1.0.22JDK如下安装只做测试。二 、镜像构建启动2.1 系统镜像构建系统镜像构建2.2 安装包源镜像构建源镜像构建。原创 2024-05-28 08:47:34 · 3408 阅读 · 105 评论 -
【Ambari】Ansible自动化部署大数据集群
ansible 自动化安装ambari原创 2024-04-07 08:38:42 · 4302 阅读 · 154 评论 -
【Ambari】Python调用Rest API 获取YARN HA状态信息并发送钉钉告警
Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。原创 2023-12-08 08:44:03 · 5445 阅读 · 119 评论 -
【Ambari】HDP单机自动化安装(基础环境和MySQL脚本一键安装)
如上是单机测试环境,我们可以将集群扩展到多台 完成集群安装。原创 2023-11-27 08:39:31 · 5550 阅读 · 140 评论 -
【Ambari】HDFS基于Ambari的常规运维
它负责安装软件、配置、启动和停止服务,以及管理在集群运行的服务。下面介绍服务相关的管理和运维操作,我们只对HDFS这一个组件的操作进行说明,YARN、HBase等组件操作基本类似,下面我们介绍两种常用的操作:服务重启和配置添加。在“HDFS”服务主页面上,将鼠标移至HDFS框的右上角“Action”,出现下拉菜单,您可以点击菜单栏中的选项启动、停止、删除该HDFS服务。对于HDFS、HBase、YARN等服务组件,我们上面只列举了重启和配置修改等操作,更多的复杂操作建议联系大数据工程师完成。原创 2023-11-25 11:21:38 · 3427 阅读 · 97 评论 -
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1问题总结
HDP 3.3.1 安装问题总结原创 2023-09-29 12:01:35 · 2178 阅读 · 33 评论 -
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1(HiDataPlus)
银河麒麟操作系统 V10 SP系列 是一款体验好用、安全好用、生态好用、行业好用的新一代图形化桌面操作系统,为用户开启安全可信、流畅愉悦的体验之旅。原创 2023-09-25 11:02:58 · 7690 阅读 · 66 评论 -
【Ambari】Python调用Rest API 获取集群状态信息并发送钉钉告警
Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。原创 2023-09-02 13:31:10 · 3521 阅读 · 70 评论 -
【Ambari】操作HDP组件迁移
我们在集群运维中,可能有的时候会面临服务迁移的问题,HDP可以在Ambari界面上完成组件的迁移工作,下面以Namenode 迁移示例。停止hdp103 的Action NameNode ,可以成功切换到 新的 Namenode,说明Namenode的迁移是 OK的。:NamaNode 迁移 只是示例,一般我们不会迁移,因为此操作可能 要重启整个集群。NameNode 成功切换到 新迁移的 hdp104 服务器。hdp104 作为新的NameNode 节点信息确认。新 NameNode。原创 2023-04-19 19:11:00 · 1581 阅读 · 0 评论 -
【Ambari】yarn-timeline 内置 HBase数据表清理
HDP 集群 timeline 内置的 HBase 数据表持续增大,我们将默认TTL30改 为7 天。上的大小。原创 2022-12-01 19:22:16 · 1186 阅读 · 0 评论 -
【Ambari】Ambari2.7.3安装报错 Cannot find a valid baseurl for repo: HDP-3.1-repo-1
HDP 版本问题,Ambari2.7.3原创 2022-06-25 18:45:14 · 1094 阅读 · 0 评论 -
【Ambari】Ambari2.6.5 安装NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library ...
🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!二、Ambari-agent 安装报错如下。原创 2021-06-09 18:38:36 · 706 阅读 · 1 评论 -
【Ambari】组件状态从MySQL同步到SQLServer或者MySQL
上面这个SQL语句查询出来是 STARTED 的状态,也就是组件的最新状态,当第一次查询时,我们要将组件全部最新状态同步到 要查询的数据库中,如果哪个组件停掉,上面的 SQL的 就不会查询出来,查询出来的还是 STARTED 状态,我们只需要 将 最新状态的临时表和 目标表关联 ,将关联不到的 STATED的 状态的组件 状态更新为 STOPED 即可,就可以实现集群监控信息 的同步。xxx 是不同的客户不同的数据库 可以读取多个数据库的配置写到不同的SQLServer数据库。原创 2020-12-22 22:23:38 · 2007 阅读 · 6 评论 -
【Ambari】非root 用户安装 Ambari -HDP集群详细说明
免密形成的文件会在 /home/xxx/.ssh 文件夹下 ,进去 用户的目录下 使用 ll -a 命令可以看到 .ssh 文件夹, SSH User Account 使用当前的普通用户。客户提供了3 台机器,但没有提供 root用户的权限, 对于 Ambari的安装 过程中 使用中的最多的 就是 sudo , 让普通用户可以执行一些 root 命令。此处我们只列出要注意的点, 非 root用户的 安装 要注意的就是 文件的权限,其他的安装步骤基本一样。原创 2020-11-15 15:12:30 · 1035 阅读 · 0 评论 -
【Ambari】 NameNode HA 回滚操作
目录一、问题引出1. 角色查看二、解决步骤1. 清理额外的NAMENODE2. 恢复secondary_namenode3. NameNodeHA 启动一、问题引出启用HDFS HA过程中,被人为的中断或意外的中断导致Secondary NameNone还没有被删除。我是 namenode 启动花了 15 分钟 后 我就强制退出了, 真的是手贱啊,查了网上的文章失败后 可以retry 就可以了,自己挖坑自己填。参考文档:https://www.jianshu.com/..原创 2020-08-28 15:59:51 · 921 阅读 · 0 评论 -
【Ambari】Ambari-Ranger组件修改MySQL默认3306端口导致启动失败问题解决( Communications link failure)
搜索 jisql_cmd 的位置找到 jdbc:mysql:// 的地方手动修改就可以了,Ambari的版本不同, jdbc:myql 的位置可能不同。但是做了以上的 配置后没有我又改了回去,排除了这种可能,于是觉得是不是Ranger 的坑 ,于是网上一搜,果然有人碰到了。问题就出在这里了,由于生产环境改了MySQL的默认端口,然而 ranger 的启动脚本使用的是默认的MySQL 端口。起初真的以为是 MySQL什么连接超时原因,但我还是不敢确定,因为以前用MySQL默认的端口没有什么问题啊。原创 2020-08-27 11:35:46 · 1048 阅读 · 0 评论 -
【Ambari】FAILED:HiveAccessContorlException Permission denied: user[hive] does not havar[USER] privil
ranger则是针对组件内的权限 ,比如HDFS的读写执行,Hive和Hbase的读写更新,yarn的队列资源使用权,目前ranger只支持 hdfs,hive,hbase,kafka,yarn等组件,针对于组和用户对资源的访问权限进行细粒度的控制。原创 2020-06-09 09:41:22 · 4222 阅读 · 2 评论 -
【Ambari】开启Kerberos安全认证
一个 User 或者一个 Service 会用 Principal 到 认证服务器(AS)认证,AS会返回一个用 Principal Key 加密的 TGT(票据授权票据),这时候只有 AS 和 Principal 的使用者可以识别该TGT,User 或者 Service 会使用 Principal 的 Key 来解密 TGT, 并使用解密后的 TGT 去TGS 获取 Service Ticket。在 Kerberos 认证的集群中,只有拿着这个 Service Ticket 才可以访问真正的 Se原创 2020-05-27 11:10:26 · 3010 阅读 · 0 评论 -
【Hadoop】通俗易懂 Kerberos原理
Hadoop 使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos 是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。Kerberos 是第三方认证机制,其中用户和服务依赖于第三方(Kerberos 服务器)来对彼此进行身份验证。Kerberos服务器本身称为密钥分发中心或 KDC。原创 2020-05-26 11:38:54 · 5552 阅读 · 2 评论 -
【Ambari】CentOS7.3 内网环境安装Ambari2.7.4+HDP3.1.4(阿里云服务器)
Ambari 安装,将系统时钟和世界协调时UTC同步,精度在局域网内可达0.1ms,在互联网上绝大多数的地方精度可以达到1-50ms,项目官网:http://www.ntp.org。说明:之后将ambari-server 安装在了10.168.138.188 机器上,安装过程是一样的,安装失败后,我重新选择了更多的组件。-------------------------------------🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!原创 2020-05-22 18:13:57 · 2664 阅读 · 1 评论 -
【Ambari】Yarn Register DNS失败报A fatal error has been detected by the Java Runtime Environment...
:Ambari 安装成功,在启动的时候显示 Yarn Registry DNS 出错。原创 2020-05-22 16:39:12 · 1052 阅读 · 0 评论