匠人精神，持之以恒！

部署 Raft Kafka（Kafka 3.3.1 及以上版本引入的 KRaft 模式）在 Kubernetes (k8s) 上，可以简化 Kafka 集群的管理，因为它不再依赖于 Zookeeper。

Filebeat 是一个轻量级的开源数据采集器，通常用于从不同来源收集和发送日志和事件数据。在 Kubernetes 或 Docker 环境中，Filebeat 常用于采集容器的日志。

Filebeat 是一个轻量级的开源日志文件和数据收集器，由 Elastic 公司开发，用于采集、解析和发送日志数据。在 Kubernetes 中，Filebeat通常用于采集容器日志，并将其发送到中央日志存储、分析或搜索工具，如 Elasticsearch、Logstash 或 Fluentd。

要使用Filebeat采集Kubernetes中的Pod和Events日志，您需要配置Filebeat以适应这两种类型的数据。Pod日志是容器内产生的日志数据。Filebeat可以监控这些日志并将它们发送到中央存储或分析系统。下面是如何配置Filebeat来采集Pod使用Filebeat的输入模块配置，选择。这告诉Filebeat应该监控容器的标准输出和日志文件。paths:这个配置指定Filebeat监控容器的日志文件，同时使用处理器添加Kubernetes元数据，以便在日志中包含有关Pod。

在 Kubernetes（K8s）上运行 Elasticsearch 是一种在容器化环境中部署和管理 Elasticsearch 集群的常见方法。Elasticsearch 是一款流行的分布式搜索和分析引擎，而 Kubernetes 则提供了一个出色的平台，用于编排容器并管理 Elasticsearch 的可伸缩性和容错性。

有任何疑问欢迎留言或私信，欢迎关注我的公众号【大数据与云原生技术分享】深入交流技术或私信咨询问题哦~】即可获取k8s镜像包。也支持在线安装，但是建议是提前导入镜像，这样会节省大量安装时间。去掉第一次连接ssh ask确认。

授予users和service accounts创建或更新pods使用资源的权限。这是一种集群级别的资源类型，用来限制pod对敏感资源的使用。它能够控制Pod的各个安全方面。是否允许Pod使用宿主节点的PID,IPC,网络命名空间。Pod是否允许绑定到宿主节点端口。容器运行时允许使用的用户ID。是否允许特权模式的POD。【温馨提示】PodSecurityPolicy 在 Kubernetes v1.21 中被弃用， 在 Kubernetes v1.25 中被移除。

其实原生的HPA是不支持根据时间点来进行扩缩容的，根据时间点扩缩容其实在有些场景下还是蛮实用的，因为根据资源扩缩容无法精准控制，像在大数据领域，跑任务的时间段一般是明确的，这样我们就可以根据跑任务的时间段来进行pod扩缩容，这样就非常精准的控制资源使用了。这里主要介绍阿里开源的一个产品；是一个 Kubernetes cron 水平 Pod 自动缩放控制器，使用 crontab 喜欢方案。

格式为"。例如下面配置的data第一行表示将default命名空间下的kuard服务的9527端口映射到ingress-controller service的30880端口，即可通过ingress-controller的service ip加30880端口访问到kuard服务。

Istio提供一种简单的方式来为已部署的服务建立网络，该网络具有负载均衡、服务间认证、监控、网关等功能，而不需要对服务的代码做任何改动。这里主要讲服务。istio 适用于容器或虚拟机环境（特别是 k8s），兼容异构架构。istio 使用 sidecar（边车模式）代理服务的网络，不需要对业务代码本身做任何的改动。HTTP、gRPC、WebSocket 和 TCP 流量的自动负载均衡。istio 通过丰富的路由规则、重试、故障转移和故障注入，可以对流量行为进行细粒度控制；

前面我们编排了很多chart包，需要一个管理平台来管理，所以这里介绍一款非常简洁和实用的管理平台Rancher；Rancher 是一个 Kubernetes 管理工具，Rancher 基于 Kubernetes 添加了新的功能，包括统一所有集群的身份验证和 RBAC，让系统管理员从一个位置控制全部集群的访问。Rancher 可以创建来自 Kubernetes 托管服务提供商的集群，创建节点并安装 Kubernetes，或者导入在任何地方运行的现有 Kubernetes 集群。

在前面我的文章里或者网上其它资料讲高可用方案，基本上大多数使用Keepalived VIP的方案，但是这种方案并不是最佳的，还有更优的高可用方案，下面将详细介绍。Kubernetes（k8s）最新版最完整版环境部署+master高可用实现（k8sV1.24.1+dashboard+harbor）

根据小伙伴提的问题，这里专门出一篇文章分析master节点挂了不可用的场景分析，希望这篇文章对小伙伴有用；其实VIP的方案实现高可用，还有更可靠的方案，也是我们目前生成环境在使用的高可用方案，后面也会分享出来，请小伙伴耐心等待~

calicoctl是 Calico 客户端管理工具。可以方便的管理 calico 网络，配置和安全策略，calicoctl 命令行提供了许多资源管理命令，允许您创建，修改，删除和查看不同的 Calico 资源，网络资源包含：node，bgpPeer，hostEndpoint，workloadEndpoint，ipPool，policy，profile等。Kubernetes（k8s）CNI（Calico）网络模型原理。

Calico 是一个联网和网络策略供应商。 Calico 支持一套灵活的网络选项，因此你可以根据自己的情况选择最有效的选项，包括非覆盖和覆盖网络，带或不带 BGP。 Calico 使用相同的引擎为主机、Pod 和（如果使用 Istio 和 Envoy）应用程序在服务网格层执行网络策略。Calico以其性能、灵活性而闻名。Calico的功能更为全面，更为复杂。它不仅提供主机和pod之间的网络连接，还涉及网络安全和管理。Calico CNI插件在CNI（container network interface）框

在k8s中，若pod使用主机网络，也就是。则该pod会使用主机的dns以及所有网络配置，默认情况下是无法使用k8s自带的dns解析服务，但是可以修改DNS策略或者修改主机上的域名解析（），使主机可以用k8s自身的dns服务。一般通过DNS策略（Default： 继承Pod所在宿主机的DNS设置，hostNetwork的默认策略。ClusterFirst（默认DNS策略）：优先使用kubernetes环境的dns服务，将无法解析的域名转发到从宿主机继承的dns服务器。

Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。大数据Hadoop之——数据同步工具Sqoop【云原生】Hadoop HA on k8s 环境部署。

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。高性能分布式对象存储——MinIO（环境部署）高性能分布式对象存储——MinIO实战操作（MinIO扩容）

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:Spark开源REST服务——Apache Livy（Spark 客户端）

Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。Redis有三种集群模式：主从模式，Sentinel（哨兵）模式，Cluster模式，这三种模式环境编排部署都会在本文章介绍与实战操作。Redis原理介绍与环境部署（主从模式、哨兵模式、集群模式）

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式，多租户能力的全文搜索引擎。Elasticsearch是用Java开发的，根据Apache许可条款作为开源发布。GitHub:面试宝典之——Elasticsearch。

Flink核心是一个流式的数据流执行引擎，并且能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。大数据Hadoop之——实时计算流计算引擎Flink（Flink环境部署）

Presto是Facebook开源的MPP（Massively Parallel Processing：大规模并行处理）架构的OLAP（on-line transaction processing：联机事务处理），完全基于内存的并⾏计算，可针对不同数据源，执行大容量数据集的一款分布式SQL交互式查询引擎。它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。PrestoDB（背靠Facebook）和PrestoSQL现在改名为。

Hive是基于Hadoop的一个数据仓库（Data Aarehouse，简称数仓、DW），可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。是用于存储、分析、报告的数据系统。大数据Hadoop之——数据仓库HiveHive 架构Hive 客户端架构。

在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，这里主要讲Hadoop HA on k8s 环境部署。【云原生】Hadoop on k8s 环境部署。

Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比如spark）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。目前最新版本已经是3.x了，官方文档。

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。资源隔离动态弹性扩缩容环境一致性运维方便。

Pod Disruption Budget (pod 中断 预算) 简称PDB，含义其实是终止pod前通过 labelSelector 机制获取正常运行的pod数目的限制，目的是对自愿中断的保护措施，主动驱逐Pod。Kubernetes version >= 1.7 才支持 PodDisruptionBudget。

Operator 概念是由 CoreOS 的工程师于2016年提出的，也是由 CoreOS 开发的，用来扩展 Kubernetes API，特定的应用程序控制器，它用来创建、配置和管理复杂的有状态应用，如数据库、缓存和监控系统。

本身是一种 Kubernetes 内置的资源类型，即自定义资源的定义，用于描述用户定义的资源是什么样子。CRD 是v1.7 +新增的无需改变代码 就可以扩展 Kubernetes API 的机制，用来管理自定义对象。它实际上是ThirdPartyResources（TPR） 的升级版本，而 TPR 已经在 v1.8 中删除。从 Kubernetes 的用户角度来看，所有东西都叫资源 Resource，就是 Yaml 里的字段 Kind 的内容，例如 Service、Deployment 等。

Helm 针对Kubernetes的Helm包管理器。helm search:   搜索charthelm pull:    下载chart到本地目录查看helm install:   上传chart到Kuberneteshelm list:     列出已发布的chart# 查看帮助 helm --helphelm version // 查看helm版本helm create xxx // 创建一个xxx chartshelm lint ./xxx // 检查包的格式或信息是否有问题。

我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是kubernetes的包管理器，helm仓库里面只有配置清单文件,而没有镜像,镜像还是由镜像仓库来提供,比如hub.docker.com、私有仓库。其实之前也写过关于helm的一篇文章【Kubernetes（k8s）包管理器Helm（Helm3）介绍&Helm3安装Harbor】，可能讲的不够细致，这里会更加细致的讲解helm。

（HPA，Pod水平自动伸缩），根据平均 CPU 利用率、平均内存利用率或你指定的任何其他自定义指标自动调整Deployment、ReplicaSet或或其他类似资源，实现部署的自动扩展和缩减，让部署的规模接近于实际服务的负载。HPA不适用于无法缩放的对象，例如DaemonSet。——CPU核 和 内存利用率指标。——例如网络利用率和流量。——特定对象的指标，比如Ingress, 可以按每秒使用请求数来扩展容器。——自定义监控，比如通过定义服务响应时间，当响应时间达到一定指标时自动扩容。

更新部署服务时，旧的 Pod 会终止，新 Pod 上位。如果在这个部署过程中老 Pod 有一个很长的操作，我们想在这个操作成功完成后杀死这个 pod（优雅关闭），如果无法做到的话，被杀死的 pod 可能会丢失一定的流量，或者外界无法感知到该 Pod 被杀死。特别是，如果我们有一个接收大量流量的 API，错误率在部署过程中会显著增加。这时就必须要设置一些预处理操作让pod的优雅退出，先来了解一下pod的生命周期。

有时，在单个 Pod 中共享卷以供多方使用是很有用的。属性可用于指定所引用的卷内的子路径，而不是其根路径。

作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使用，只是大部分时候我们因熟悉Docker，在部署集群时采用了默认的dockershim。在V1.24起的版本的kubelet就彻底移除了dockershim，改为默认使用Containerd了，当然也使用适配器来将与 Kubernetes 集成。可以参考官方文档。......

Kubernetes中的健康检查主要使用 存活性探针（）和 就绪性探针（异常实例自动剔除，并重启新实例多种类型探针检测，保证异常pod不接入流量不停机部署，更安全的滚动升级Kubernetes（k8s）最新版最完整版环境部署+master高可用实现（k8sV1.24.1+dashboard+harbor）......

存储卷，简称卷，卷是pod的一部分，卷在pod创建时创建，删除pod时卷也会被销毁，卷可以为pod中的所有容器使用，前提是所有容器都将卷挂载到容器里，卷可以挂载到容器的文件系统中的任意位置。一个pod可以定义多个不同类型的卷，一个容器也可以使用不同类型的多个卷。pod需要设置卷来源（spec.volume）和挂载点（spec.containers.volumeMounts）两个信息后才可以使用相应的Volume。......

文章目录一、ConfigMap概述二、ConfigMap创建1）通过命令行创建configmap（key-value键值对）2）通过文件创建configmap3）通过文件夹创建configmap4）通过yaml文件创建三、ConfigMap简单使用1）用作环境变量2）用作命令行参数3）使用volume将ConfigMap作为文件或目录直接挂载一、ConfigMap概述ConfigMap是k8s的一个配置管理组件，可以将配置以key-value的形式传递，通常用来保存不需要加密的配置信息，加密信息则需用