涤生大数据

本次主题主要目的是为大家讲解蓝绿发布，但是发现文档和内容太长了，对此将文档拆分成了两部分，视频拆分成了好几部分，这样大家刷起来没疲劳感。 第一部分《apisix + argorollout 实现蓝绿发布I-使用apisix发布应用》，主要内容为：

最近某大数据集群频繁出现节点掉线事故，物理内存监控持续爆红。运维人员发现当节点内存使用率达到95%以上时，机器会进入不可响应状态，最终导致服务中断。这种"内存雪崩"现象往往由单个异常任务引发，如何快速定位问题作业成为当务之急。

因云平台升级，需要将A机房中的大数据平台迁移到B机房中。AB属于同城市，不同数据中心机房。主要是因为A机房底层物理空间满了，没办法加机器了，但是大数据集群又需要扩容了，所以才搞集群迁移。不然真心不想做的。

Apache Spark是大数据处理领域最常用的计算引擎之一。其强大的可扩展性和丰富的API使其在各种场景中得到了广泛应用。除了常见的数据源扩展，Spark SQL的Catalyst引擎也提供了丰富的扩展点，允许用户根据自己的需求定制解析、分析、优化和物理执行策略。本文将深入探讨在实际的生产环境中如何借助Spark Catalyst的拓展功能，实现自定义的 hooks 功能。

用于描述这个服务，服务的组件和管理脚本用于执行命令。一个组件的服务可以是MASTER,SLAVE或CLIENT类别。这个<category>告诉Ambari默认命令应该用于管理和监控组件。为每个组件指定<commandScript >执行命令时使用。有一个默认命令定义组件必须支持。

jstack是Java开发工具包（JDK）中提供的一个命令行工具，用于生成Java虚拟机（JVM）中所有线程的堆栈跟踪信息。使用jstack命令可以获取以下信息：所有线程的堆栈跟踪：jstack命令会输出JVM中所有线程的堆栈跟踪信息，包括线程ID、状态、执行方法和行号等。这些信息可以用于分析线程的执行路径和可能的问题。死锁检测：jstack命令可以检测并输出JVM中的死锁情况。它会显示死锁的线程以及导致死锁的资源。

前言：关于kyuubi的原理和功能这里不做详细的介绍，感兴趣的同学可以直通官网：https://kyuubi.readthedocs.io/en/v1.7.1-rc0/index.html。

在我们的整个验证过程中， Hive中的SQL演示，在日常的数据分析工作中是很常见的。同样的SQL，同样规模数据，为啥运行时间不一样？可能并不是因为你写的SQL有问题，不妨思考下，会不会是底层存储的问题所以，课后作业来了：HDFS 小文件会带来哪些影响？

基于以上wiki服务的报错，一开始怀疑是网络的问题，首先查看了阿里云的网络监控，再次查看了我们的vpn服务监控（因为我们在集群安全防护上，是将所有的主机服务都隐藏在阿里云内网的，学员的对教学环境资源的访问都是需要通过VPN认证登录）还有其他内部服务的访问也都是没有问题的，这足以说明网络上是健康的。），具体查看磁盘的存储文件，发现其他的日志文件也占据不小的存储空间，（简直就是看到了救命稻草），删除此部分文件，应该可以恢复磁盘的正常读写，进而将整体服务拉起来，后面也就迎刃而解了。所有服务恢复正常运行。

本期来分享一个cdh企业运维实战案例，将现有集群CDH版本由5.x版本升级为6.3.x版本。

​在前的文章中介绍过《CDH集成的kerberos迁移实战》,由此也考虑到kerberos单节点可能引发的线上事故，所有考虑到把线上kerberos服务启用高可用。​

Kolla虽然已经实现了自动化，但是，安装过程依旧折腾得死去活来。特地记录了当时处理各种异常的记录，希望能够帮助到大家。

由于种种原因，线上cdh集群的管理服务Cloudera Manager所在主机不能正常使用，Cloudera Manager相关的服务需要迁移到新的主机运行，且生产迁移不能影响任何生产环境的使用。

大数据集群运维：all datanodes DatanodeInfoWithStorage[10.21.131.179:50010,DS-6fca3fba-7b13-4855-b483-342df8432e

1.报错情况有个小伙伴hive任务报错，moving data时，报错如下Failded with exception:unable to move source hdfs://...........2.问题排查这种情况一般跟任务没有关系了，说明hive任务已经执行成功了。因为默认hive，spark任务数据先写到一个临时目录，等各个节点的数据都写完整以后，校验没问题了，在move到表的hdfs路径下（所谓move其实就是重命令），这个过程报错，说明跟hdfs有关系，跟yarn，hiv.

1.案发现场还原 datanode节点因为坏盘，机器卡死掉线，datanode退役。把坏盘目录去掉后，重启datanode后出现一会dn自动挂掉的情况。 查看日志报错如下:1月 8, 上午10点26:12.689 WARN org.apache.hadoop.hdfs.server.common.Storage Failed to analyze storage directories for block pool BP-465426754-10.5.32.151-1456251...

进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面挂过很多人；如今，想趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，也欢迎大家私信交流。持续每周更新。死磕大数据系列1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括...

背景：集群规模上千节点，5台JournalNode节点，现在因为需要维修，下线其中一台JournalNode进行维修。1.JournalNode下线 在namenode的HA机制下，两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。JournalNode属于轻量级的应用，可以同样在运行JournalNode节点上运行datanode,nodemanager等角色，不影响使用的。根据hadoop官网的描述：必须至少有3个JournalNode守...