Kubernetes
文章平均质量分 94
大数据老司机
专注于大数据智能运维和大数据开发领域优质创作者
展开
-
Raft Kafka on k8s 部署实战操作
部署 Raft Kafka(Kafka 3.3.1 及以上版本引入的 KRaft 模式)在 Kubernetes (k8s) 上,可以简化 Kafka 集群的管理,因为它不再依赖于 Zookeeper。原创 2024-03-24 20:16:05 · 1357 阅读 · 0 评论 -
容器日志采集的三种方式实战操作讲解(Filebeat)
Filebeat 是一个轻量级的开源数据采集器,通常用于从不同来源收集和发送日志和事件数据。在 Kubernetes 或 Docker 环境中,Filebeat 常用于采集容器的日志。原创 2023-11-12 18:30:00 · 1308 阅读 · 0 评论 -
Filebeat on k8s 日志采集实战操作
Filebeat 是一个轻量级的开源日志文件和数据收集器,由 Elastic 公司开发,用于采集、解析和发送日志数据。在 Kubernetes 中,Filebeat通常用于采集容器日志,并将其发送到中央日志存储、分析或搜索工具,如 Elasticsearch、Logstash 或 Fluentd。原创 2023-11-05 18:30:00 · 1504 阅读 · 0 评论 -
Filebeat 采集 k8s Pod 和 Events 日志实战操作
要使用Filebeat采集Kubernetes中的Pod和Events日志,您需要配置Filebeat以适应这两种类型的数据。Pod日志是容器内产生的日志数据。Filebeat可以监控这些日志并将它们发送到中央存储或分析系统。下面是如何配置Filebeat来采集Pod使用Filebeat的输入模块配置,选择。这告诉Filebeat应该监控容器的标准输出和日志文件。paths:这个配置指定Filebeat监控容器的日志文件,同时使用处理器添加Kubernetes元数据,以便在日志中包含有关Pod。原创 2023-10-15 15:02:12 · 1956 阅读 · 1 评论 -
ElasticSearch+Kibana on K8s 讲解与实战操作(版本7.17.3)
在 Kubernetes(K8s)上运行 Elasticsearch 是一种在容器化环境中部署和管理 Elasticsearch 集群的常见方法。Elasticsearch 是一款流行的分布式搜索和分析引擎,而 Kubernetes 则提供了一个出色的平台,用于编排容器并管理 Elasticsearch 的可伸缩性和容错性。原创 2023-09-10 18:48:47 · 573 阅读 · 0 评论 -
【云原生】k8s 环境快速部署(一小时以内部署完)
有任何疑问欢迎留言或私信,欢迎关注我的公众号【大数据与云原生技术分享】深入交流技术或私信咨询问题哦~】即可获取k8s镜像包。也支持在线安装,但是建议是提前导入镜像,这样会节省大量安装时间。去掉第一次连接ssh ask确认。原创 2023-03-12 21:34:28 · 827 阅读 · 0 评论 -
【云原生】K8s PSP 和 securityContext 介绍与使用
授予users和service accounts创建或更新pods使用资源的权限。这是一种集群级别的资源类型,用来限制pod对敏感资源的使用。它能够控制Pod的各个安全方面。是否允许Pod使用宿主节点的PID,IPC,网络命名空间。Pod是否允许绑定到宿主节点端口。容器运行时允许使用的用户ID。是否允许特权模式的POD。【温馨提示】PodSecurityPolicy 在 Kubernetes v1.21 中被弃用, 在 Kubernetes v1.25 中被移除。原创 2022-12-31 10:49:38 · 1689 阅读 · 0 评论 -
【云原生】k8s pod 定时弹性伸缩cronhpa介绍与实战操作
其实原生的HPA是不支持根据时间点来进行扩缩容的,根据时间点扩缩容其实在有些场景下还是蛮实用的,因为根据资源扩缩容无法精准控制,像在大数据领域,跑任务的时间段一般是明确的,这样我们就可以根据跑任务的时间段来进行pod扩缩容,这样就非常精准的控制资源使用了。这里主要介绍阿里开源的一个产品;是一个 Kubernetes cron 水平 Pod 自动缩放控制器,使用 crontab 喜欢方案。原创 2022-12-25 10:34:20 · 802 阅读 · 0 评论 -
【云原生】K8s Ingress rewrite与TCP四层转发讲解与实战操作
格式为"。例如下面配置的data第一行表示将default命名空间下的kuard服务的9527端口映射到ingress-controller service的30880端口,即可通过ingress-controller的service ip加30880端口访问到kuard服务。原创 2022-12-10 21:09:33 · 3748 阅读 · 0 评论 -
【云原生】Kubernetes(k8s)Istio Gateway 介绍与实战操作
Istio提供一种简单的方式来为已部署的服务建立网络,该网络具有负载均衡、服务间认证、监控、网关等功能,而不需要对服务的代码做任何改动。这里主要讲服务。istio 适用于容器或虚拟机环境(特别是 k8s),兼容异构架构。istio 使用 sidecar(边车模式)代理服务的网络,不需要对业务代码本身做任何的改动。HTTP、gRPC、WebSocket 和 TCP 流量的自动负载均衡。istio 通过丰富的路由规则、重试、故障转移和故障注入,可以对流量行为进行细粒度控制;原创 2022-12-09 23:49:21 · 5786 阅读 · 0 评论 -
【云原生】k8s 管理平台 rancher
前面我们编排了很多chart包,需要一个管理平台来管理,所以这里介绍一款非常简洁和实用的管理平台Rancher;Rancher 是一个 Kubernetes 管理工具,Rancher 基于 Kubernetes 添加了新的功能,包括统一所有集群的身份验证和 RBAC,让系统管理员从一个位置控制全部集群的访问。Rancher 可以创建来自 Kubernetes 托管服务提供商的集群,创建节点并安装 Kubernetes,或者导入在任何地方运行的现有 Kubernetes 集群。原创 2022-12-02 23:49:42 · 3043 阅读 · 0 评论 -
【云原生】无VIP稳定性和可扩展性更强的k8s高可用方案讲解与实战操作
在前面我的文章里或者网上其它资料讲高可用方案,基本上大多数使用Keepalived VIP的方案,但是这种方案并不是最佳的,还有更优的高可用方案,下面将详细介绍。Kubernetes(k8s)最新版最完整版环境部署+master高可用实现(k8sV1.24.1+dashboard+harbor)原创 2022-11-27 22:45:21 · 2157 阅读 · 0 评论 -
【云原生】K8S master节点更换IP以及master高可用故障模拟测试
根据小伙伴提的问题,这里专门出一篇文章分析master节点挂了不可用的场景分析,希望这篇文章对小伙伴有用;其实VIP的方案实现高可用,还有更可靠的方案,也是我们目前生成环境在使用的高可用方案,后面也会分享出来,请小伙伴耐心等待~原创 2022-11-26 13:22:41 · 2881 阅读 · 0 评论 -
【云原生】Kubernetes(k8s)Calico 客户端工具 calicoctl
calicoctl是 Calico 客户端管理工具。可以方便的管理 calico 网络,配置和安全策略,calicoctl 命令行提供了许多资源管理命令,允许您创建,修改,删除和查看不同的 Calico 资源,网络资源包含:node,bgpPeer,hostEndpoint,workloadEndpoint,ipPool,policy,profile等。Kubernetes(k8s)CNI(Calico)网络模型原理。原创 2022-11-21 07:30:00 · 2632 阅读 · 0 评论 -
Kubernetes(k8s)CNI(Calico)网络模型原理
Calico 是一个联网和网络策略供应商。 Calico 支持一套灵活的网络选项,因此你可以根据自己的情况选择最有效的选项,包括非覆盖和覆盖网络,带或不带 BGP。 Calico 使用相同的引擎为主机、Pod 和(如果使用 Istio 和 Envoy)应用程序在服务网格层执行网络策略。Calico以其性能、灵活性而闻名。Calico的功能更为全面,更为复杂。它不仅提供主机和pod之间的网络连接,还涉及网络安全和管理。Calico CNI插件在CNI(container network interface)框原创 2022-11-19 21:43:48 · 3356 阅读 · 0 评论 -
【云原生】k8s 中的 hostNetwork 和 NetworkPolicy(网络策略)讲解与实战操作
在k8s中,若pod使用主机网络,也就是。则该pod会使用主机的dns以及所有网络配置,默认情况下是无法使用k8s自带的dns解析服务,但是可以修改DNS策略或者修改主机上的域名解析(),使主机可以用k8s自身的dns服务。一般通过DNS策略(Default: 继承Pod所在宿主机的DNS设置,hostNetwork的默认策略。ClusterFirst(默认DNS策略):优先使用kubernetes环境的dns服务,将无法解析的域名转发到从宿主机继承的dns服务器。原创 2022-11-19 11:25:31 · 4907 阅读 · 0 评论 -
【云原生】Sqoop on k8s 讲解与实战操作
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载,MapReduce天生的特性保证了并行化和高容错率,而且相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况。在特定场景下,抽取过程会有很大的性能提升。大数据Hadoop之——数据同步工具Sqoop【云原生】Hadoop HA on k8s 环境部署。原创 2022-11-13 22:47:04 · 1469 阅读 · 4 评论 -
【云原生】Minio on k8s 讲解与实战操作
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。高性能分布式对象存储——MinIO(环境部署)高性能分布式对象存储——MinIO实战操作(MinIO扩容)原创 2022-11-12 17:46:17 · 2150 阅读 · 0 评论 -
【云原生】Apache Livy on k8s 讲解与实战操作
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:Spark开源REST服务——Apache Livy(Spark 客户端)原创 2022-11-07 23:05:03 · 2150 阅读 · 0 评论 -
【云原生】Redis on k8s 编排部署讲解与实战操作
Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统,是跨平台的非关系型数据库。Redis有三种集群模式:主从模式,Sentinel(哨兵)模式,Cluster模式,这三种模式环境编排部署都会在本文章介绍与实战操作。Redis原理介绍与环境部署(主从模式、哨兵模式、集群模式)原创 2022-11-05 00:34:34 · 950 阅读 · 0 评论 -
【云原生】Spark on k8s 讲解与实战操作
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2022-10-15 19:32:18 · 4512 阅读 · 3 评论 -
【云原生】Elasticsearch + kibana on k8s 讲解与实战操作
Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式,多租户能力的全文搜索引擎。Elasticsearch是用Java开发的,根据Apache许可条款作为开源发布。GitHub:面试宝典之——Elasticsearch。原创 2022-10-14 00:01:52 · 2589 阅读 · 0 评论 -
【云原生】Flink on k8s 讲解与实战操作
Flink核心是一个流式的数据流执行引擎,并且能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布,数据通信及容错机制等功能。大数据Hadoop之——实时计算流计算引擎Flink(Flink环境部署)原创 2022-10-05 09:36:27 · 2238 阅读 · 1 评论 -
【云原生】Presto/Trino on k8s 环境部署
Presto是Facebook开源的MPP(Massively Parallel Processing:大规模并行处理)架构的OLAP(on-line transaction processing:联机事务处理),完全基于内存的并⾏计算,可针对不同数据源,执行大容量数据集的一款分布式SQL交互式查询引擎。它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。PrestoDB(背靠Facebook)和PrestoSQL现在改名为。原创 2022-10-03 22:18:07 · 1856 阅读 · 5 评论 -
【云原生】Hive on k8s 环境部署
Hive是基于Hadoop的一个数据仓库(Data Aarehouse,简称数仓、DW),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。是用于存储、分析、报告的数据系统。大数据Hadoop之——数据仓库HiveHive 架构Hive 客户端架构。原创 2022-10-01 18:13:29 · 2473 阅读 · 2 评论 -
【云原生】Hadoop HA on k8s 环境部署
在 Hadoop 2.0.0 之前,一个集群只有一个Namenode,这将面临单点故障问题。如果 Namenode 机器挂掉了,整个集群就用不了了。只有重启 Namenode ,才能恢复集群。另外正常计划维护集群的时候,还必须先停用整个集群,这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制,这里主要讲Hadoop HA on k8s 环境部署。【云原生】Hadoop on k8s 环境部署。原创 2022-09-26 23:44:59 · 3516 阅读 · 6 评论 -
【云原生】Hadoop on k8s 环境部署
Hadoop是Apache软件基金会下一个开源分布式计算平台,以HDFS(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入了YARN,Yarn是资源调度框架,能够细粒度的管理和调度任务,还能够支持其他的计算框架,比如spark)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上,形成分布式系统。目前最新版本已经是3.x了,官方文档。原创 2022-09-24 18:16:27 · 4770 阅读 · 22 评论 -
【云原生】MySQL on k8s 环境部署
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。资源隔离动态弹性扩缩容环境一致性运维方便。原创 2022-09-22 23:40:11 · 3827 阅读 · 0 评论 -
【云原生】Kubernetes PDB(Pod Disruption Budget)介绍与简单使用
Pod Disruption Budget (pod 中断 预算) 简称PDB,含义其实是终止pod前通过 labelSelector 机制获取正常运行的pod数目的限制,目的是对自愿中断的保护措施,主动驱逐Pod。Kubernetes version >= 1.7 才支持 PodDisruptionBudget。原创 2022-09-12 11:35:39 · 2656 阅读 · 0 评论 -
【云原生】Kubernetes 有状态应用程序控制器 Operator
Operator 概念是由 CoreOS 的工程师于2016年提出的,也是由 CoreOS 开发的,用来扩展 Kubernetes API,特定的应用程序控制器,它用来创建、配置和管理复杂的有状态应用,如数据库、缓存和监控系统。原创 2022-09-12 07:30:00 · 1402 阅读 · 0 评论 -
【云原生】Kubernetes CRD 详解(Custom Resource Definition)
本身是一种 Kubernetes 内置的资源类型,即自定义资源的定义,用于描述用户定义的资源是什么样子。CRD 是v1.7 +新增的无需改变代码 就可以扩展 Kubernetes API 的机制,用来管理自定义对象。它实际上是ThirdPartyResources(TPR) 的升级版本,而 TPR 已经在 v1.8 中删除。从 Kubernetes 的用户角度来看,所有东西都叫资源 Resource,就是 Yaml 里的字段 Kind 的内容,例如 Service、Deployment 等。原创 2022-09-11 14:05:24 · 2990 阅读 · 0 评论 -
【云原生】Helm 常用命令(chart 安装、升级、回滚、卸载等操作)
Helm 针对Kubernetes的Helm包管理器。helm search: 搜索charthelm pull: 下载chart到本地目录查看helm install: 上传chart到Kuberneteshelm list: 列出已发布的chart# 查看帮助 helm --helphelm version // 查看helm版本helm create xxx // 创建一个xxx chartshelm lint ./xxx // 检查包的格式或信息是否有问题。原创 2022-09-06 23:48:37 · 12373 阅读 · 1 评论 -
【云原生】Helm 架构和基础语法详解
我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是kubernetes的包管理器,helm仓库里面只有配置清单文件,而没有镜像,镜像还是由镜像仓库来提供,比如hub.docker.com、私有仓库。其实之前也写过关于helm的一篇文章【Kubernetes(k8s)包管理器Helm(Helm3)介绍&Helm3安装Harbor】,可能讲的不够细致,这里会更加细致的讲解helm。原创 2022-09-05 07:30:00 · 3421 阅读 · 0 评论 -
【云原生】K8s pod 动态弹性扩缩容 HAP(metrics-server)
(HPA,Pod水平自动伸缩),根据平均 CPU 利用率、平均内存利用率或你指定的任何其他自定义指标自动调整Deployment、ReplicaSet或或其他类似资源,实现部署的自动扩展和缩减,让部署的规模接近于实际服务的负载。HPA不适用于无法缩放的对象,例如DaemonSet。——CPU核 和 内存利用率指标。——例如网络利用率和流量。——特定对象的指标,比如Ingress, 可以按每秒使用请求数来扩展容器。——自定义监控,比如通过定义服务响应时间,当响应时间达到一定指标时自动扩容。原创 2022-09-04 07:30:00 · 2185 阅读 · 0 评论 -
【云原生】K8s pod优雅退出(postStart、terminationGracePeriodSeconds、preStop)
更新部署服务时,旧的 Pod 会终止,新 Pod 上位。如果在这个部署过程中老 Pod 有一个很长的操作,我们想在这个操作成功完成后杀死这个 pod(优雅关闭),如果无法做到的话,被杀死的 pod 可能会丢失一定的流量,或者外界无法感知到该 Pod 被杀死。特别是,如果我们有一个接收大量流量的 API,错误率在部署过程中会显著增加。这时就必须要设置一些预处理操作让pod的优雅退出,先来了解一下pod的生命周期。原创 2022-09-03 11:57:14 · 4722 阅读 · 0 评论 -
【云原生】k8s中volumeMounts.subPath的巧妙用法
有时,在单个 Pod 中共享卷以供多方使用是很有用的。属性可用于指定所引用的卷内的子路径,而不是其根路径。原创 2022-09-03 00:08:03 · 10189 阅读 · 0 评论 -
【云原生】Containerd ctr 和 crictl 客户端命令介绍与实战操作(nerdctl )
作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使用,只是大部分时候我们因熟悉Docker,在部署集群时采用了默认的dockershim。在V1.24起的版本的kubelet就彻底移除了dockershim,改为默认使用Containerd了,当然也使用适配器来将与 Kubernetes 集成。可以参考官方文档。......原创 2022-08-29 07:30:00 · 3218 阅读 · 0 评论 -
[云原生] Kubernetes(k8s)健康检查详解与实战演示(就绪性探针 和 存活性探针)
Kubernetes中的健康检查主要使用 存活性探针()和 就绪性探针(异常实例自动剔除,并重启新实例多种类型探针检测,保证异常pod不接入流量不停机部署,更安全的滚动升级Kubernetes(k8s)最新版最完整版环境部署+master高可用实现(k8sV1.24.1+dashboard+harbor)......原创 2022-08-27 16:36:50 · 2861 阅读 · 0 评论 -
Kubernetes(k8s)——本地存储卷介绍与简单使用(emptyDir,hostPath,local volume)
存储卷,简称卷,卷是pod的一部分,卷在pod创建时创建,删除pod时卷也会被销毁,卷可以为pod中的所有容器使用,前提是所有容器都将卷挂载到容器里,卷可以挂载到容器的文件系统中的任意位置。一个pod可以定义多个不同类型的卷,一个容器也可以使用不同类型的多个卷。pod需要设置卷来源(spec.volume)和挂载点(spec.containers.volumeMounts)两个信息后才可以使用相应的Volume。......原创 2022-07-10 07:30:00 · 3570 阅读 · 0 评论 -
Kubernetes(k8s)ConfigMap详解及应用
文章目录一、ConfigMap概述二、ConfigMap创建1)通过命令行创建configmap(key-value键值对)2)通过文件创建configmap3)通过文件夹创建configmap4)通过yaml文件创建三、ConfigMap简单使用1)用作环境变量2)用作命令行参数3)使用volume将ConfigMap作为文件或目录直接挂载一、ConfigMap概述ConfigMap是k8s的一个配置管理组件,可以将配置以key-value的形式传递,通常用来保存不需要加密的配置信息,加密信息则需用原创 2021-11-14 19:39:05 · 6061 阅读 · 0 评论