云原生
文章平均质量分 93
大数据老司机
专注于大数据智能运维和大数据开发领域优质创作者
展开
-
通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多,可能小伙伴只是想快速部署,所以这里出了一个极简的部署教程,如果想了解详细部署过程,可以建议参考我上一篇的文章:[通过 docker-compose 快速部署 Hadoop 集群详细教程]原创 2023-04-02 20:00:00 · 550 阅读 · 0 评论 -
通过 docker-compose 快速部署 Hadoop 集群详细教程
docker-compose 项目是docker官方的开源项目, 负责实现对docker容器集群的快速编排,来轻松高效的管理容器,定义运行多个容器。通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的,所以一般通过docker-compose部署的应用用于测试、poc环境以及学习等非生产环境场景。生产环境如果需要使用容器化部署,建议还是使用K8s。原创 2023-04-01 22:02:22 · 1427 阅读 · 8 评论 -
【云原生】k8s 环境快速部署(一小时以内部署完)
有任何疑问欢迎留言或私信,欢迎关注我的公众号【大数据与云原生技术分享】深入交流技术或私信咨询问题哦~】即可获取k8s镜像包。也支持在线安装,但是建议是提前导入镜像,这样会节省大量安装时间。去掉第一次连接ssh ask确认。原创 2023-03-12 21:34:28 · 828 阅读 · 0 评论 -
【云原生】k8s 离线部署讲解和实战操作
Kubernetes是一种高度可扩展的容器编排平台,可用于部署、管理和自动化容器化应用程序的运行。在某些情况下,离线部署Kubernetes可能是必需的,例如在没有互联网连接的安全环境中或在网络连接不可靠的情况下。获取Kubernetes二进制文件:从Kubernetes官网下载Kubernetes二进制文件并解压缩到本地。准备离线镜像:在离线环境中,必须将所需的容器镜像下载到本地并存储在本地仓库中。原创 2023-02-26 11:35:06 · 1815 阅读 · 2 评论 -
【云原生】k8s 一键部署(ansible)
前面我写了关于k8s环境部署的几篇文章,k8s部署还是比较麻烦的,所以是有必要考虑一键部署的方案,这里借助ansible playbook来实现k8s环境的一键部署,实现快速部署的目的。Kubernetes(k8s)安装以及搭建k8s-Dashboard详解Kubernetes(k8s)最新版最完整版环境部署+master高可用实现(k8sV1.24.1+dashboard+harbor)Ansible 介绍与实战操作演示Ansible playbook 讲解与实战操作节点信息主机名IP角色操作系统。原创 2023-01-16 23:25:31 · 7103 阅读 · 2 评论 -
【云原生】K8s PSP 和 securityContext 介绍与使用
授予users和service accounts创建或更新pods使用资源的权限。这是一种集群级别的资源类型,用来限制pod对敏感资源的使用。它能够控制Pod的各个安全方面。是否允许Pod使用宿主节点的PID,IPC,网络命名空间。Pod是否允许绑定到宿主节点端口。容器运行时允许使用的用户ID。是否允许特权模式的POD。【温馨提示】PodSecurityPolicy 在 Kubernetes v1.21 中被弃用, 在 Kubernetes v1.25 中被移除。原创 2022-12-31 10:49:38 · 1690 阅读 · 0 评论 -
【云原生】k8s pod 定时弹性伸缩cronhpa介绍与实战操作
其实原生的HPA是不支持根据时间点来进行扩缩容的,根据时间点扩缩容其实在有些场景下还是蛮实用的,因为根据资源扩缩容无法精准控制,像在大数据领域,跑任务的时间段一般是明确的,这样我们就可以根据跑任务的时间段来进行pod扩缩容,这样就非常精准的控制资源使用了。这里主要介绍阿里开源的一个产品;是一个 Kubernetes cron 水平 Pod 自动缩放控制器,使用 crontab 喜欢方案。原创 2022-12-25 10:34:20 · 802 阅读 · 0 评论 -
【云原生】Grafana Alerting 告警模块介绍与实战操作
在版本4.0+ grafana中增加了Alerting 告警模块,丰富了grafana功能,以前告警需要借助AlertManager,但是有grafana告警模块之后就可以不使用AlertManager告警了,但是grafana也支持对接AlertManager,所以还是非常方面,又可以省区一个组件的维护和资源开销。下图概述了 Grafana 告警的工作原理,并向您介绍了一些关键概念,这些概念协同工作并构成了我们灵活而强大的警报引擎的核心。一页包含所有警报。原创 2022-12-24 22:24:56 · 13954 阅读 · 3 评论 -
【云原生】Grafana 介绍与实战操作
grafana是用于可视化大型测量数据的开源程序,他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。grafana最常用于因特网基础设施和应用分析,但在其他领域也有机会用到,比如:工业传感器、家庭自动化、过程控制等等。grafana有热插拔控制面板和可扩展的数据源,目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch。原创 2022-12-18 19:55:04 · 3172 阅读 · 0 评论 -
【云原生】Prometheus 自定义告警规则
通过创建Prometheus监控告警规则,您可以制定针对特定Prometheus实例的告警规则。当告警规则设置的条件满足后,系统会产生对应的告警事件。如果想要收到通知,需要进一步配置对应的通知策略以生成告警并且以短信、邮件、电话、钉群机器人、企业微信机器人或者Webhook等方式发送通知。原创 2022-12-17 18:24:37 · 1577 阅读 · 0 评论 -
【云原生】Prometheus PromQL讲解与实战操作
PromQL(Prometheus Query Language)为Prometheus tsdb的查询语言。是结合grafana进行数据展示和告警规则的配置的关键部分。官方文档:https://prometheus.io/docs/prometheus/latest/querying/basics/Prometheus原理详解【云原生】Prometheus Pushgetway讲解与实战操作【云原生】Prometheus AlertManager讲解与实战操作除了Counter和Gauge。原创 2022-12-12 22:57:45 · 2015 阅读 · 0 评论 -
【云原生】Prometheus AlertManager讲解与实战操作
Prometheus 包含一个报警模块,就是我们的,Alertmanager 主要用于接收 Prometheus 发送的告警信息,它支持丰富的告警通知渠道,而且很容易做到告警信息进行去重,降噪,分组等,是一款前卫的告警通知系统。Prometheus原理详解【云原生】Prometheus Pushgetway讲解与实战操作。原创 2022-12-11 21:50:59 · 1065 阅读 · 0 评论 -
【云原生】Prometheus Pushgetway讲解与实战操作
是Prometheus的一个组件,默认是通过Exporter主动获取数据(默认采取pull拉取数据),则是通过exporter主动方式推送数据到,再由Prometheus主动去拉取 Pushgateway数据,用户可以写一些自定义的监控脚本把需要监控的数据发送给Pushgateway。从角度看,都是由主动去拉取各个数据源(例:Exporter和Pushgateway)的数据。原创 2022-12-11 15:30:23 · 6387 阅读 · 1 评论 -
【云原生】K8s Ingress rewrite与TCP四层转发讲解与实战操作
格式为"。例如下面配置的data第一行表示将default命名空间下的kuard服务的9527端口映射到ingress-controller service的30880端口,即可通过ingress-controller的service ip加30880端口访问到kuard服务。原创 2022-12-10 21:09:33 · 3751 阅读 · 0 评论 -
【云原生】Kubernetes(k8s)Istio Gateway 介绍与实战操作
Istio提供一种简单的方式来为已部署的服务建立网络,该网络具有负载均衡、服务间认证、监控、网关等功能,而不需要对服务的代码做任何改动。这里主要讲服务。istio 适用于容器或虚拟机环境(特别是 k8s),兼容异构架构。istio 使用 sidecar(边车模式)代理服务的网络,不需要对业务代码本身做任何的改动。HTTP、gRPC、WebSocket 和 TCP 流量的自动负载均衡。istio 通过丰富的路由规则、重试、故障转移和故障注入,可以对流量行为进行细粒度控制;原创 2022-12-09 23:49:21 · 5791 阅读 · 0 评论 -
【云原生】k8s 管理平台 rancher
前面我们编排了很多chart包,需要一个管理平台来管理,所以这里介绍一款非常简洁和实用的管理平台Rancher;Rancher 是一个 Kubernetes 管理工具,Rancher 基于 Kubernetes 添加了新的功能,包括统一所有集群的身份验证和 RBAC,让系统管理员从一个位置控制全部集群的访问。Rancher 可以创建来自 Kubernetes 托管服务提供商的集群,创建节点并安装 Kubernetes,或者导入在任何地方运行的现有 Kubernetes 集群。原创 2022-12-02 23:49:42 · 3043 阅读 · 0 评论 -
【云原生】无VIP稳定性和可扩展性更强的k8s高可用方案讲解与实战操作
在前面我的文章里或者网上其它资料讲高可用方案,基本上大多数使用Keepalived VIP的方案,但是这种方案并不是最佳的,还有更优的高可用方案,下面将详细介绍。Kubernetes(k8s)最新版最完整版环境部署+master高可用实现(k8sV1.24.1+dashboard+harbor)原创 2022-11-27 22:45:21 · 2158 阅读 · 0 评论 -
【云原生】K8S master节点更换IP以及master高可用故障模拟测试
根据小伙伴提的问题,这里专门出一篇文章分析master节点挂了不可用的场景分析,希望这篇文章对小伙伴有用;其实VIP的方案实现高可用,还有更可靠的方案,也是我们目前生成环境在使用的高可用方案,后面也会分享出来,请小伙伴耐心等待~原创 2022-11-26 13:22:41 · 2883 阅读 · 0 评论 -
【云原生】Kubernetes(k8s)Calico 客户端工具 calicoctl
calicoctl是 Calico 客户端管理工具。可以方便的管理 calico 网络,配置和安全策略,calicoctl 命令行提供了许多资源管理命令,允许您创建,修改,删除和查看不同的 Calico 资源,网络资源包含:node,bgpPeer,hostEndpoint,workloadEndpoint,ipPool,policy,profile等。Kubernetes(k8s)CNI(Calico)网络模型原理。原创 2022-11-21 07:30:00 · 2633 阅读 · 0 评论 -
Kubernetes(k8s)CNI(Calico)网络模型原理
Calico 是一个联网和网络策略供应商。 Calico 支持一套灵活的网络选项,因此你可以根据自己的情况选择最有效的选项,包括非覆盖和覆盖网络,带或不带 BGP。 Calico 使用相同的引擎为主机、Pod 和(如果使用 Istio 和 Envoy)应用程序在服务网格层执行网络策略。Calico以其性能、灵活性而闻名。Calico的功能更为全面,更为复杂。它不仅提供主机和pod之间的网络连接,还涉及网络安全和管理。Calico CNI插件在CNI(container network interface)框原创 2022-11-19 21:43:48 · 3358 阅读 · 0 评论 -
【云原生】k8s 中的 hostNetwork 和 NetworkPolicy(网络策略)讲解与实战操作
在k8s中,若pod使用主机网络,也就是。则该pod会使用主机的dns以及所有网络配置,默认情况下是无法使用k8s自带的dns解析服务,但是可以修改DNS策略或者修改主机上的域名解析(),使主机可以用k8s自身的dns服务。一般通过DNS策略(Default: 继承Pod所在宿主机的DNS设置,hostNetwork的默认策略。ClusterFirst(默认DNS策略):优先使用kubernetes环境的dns服务,将无法解析的域名转发到从宿主机继承的dns服务器。原创 2022-11-19 11:25:31 · 4907 阅读 · 0 评论 -
【云原生】Sqoop on k8s 讲解与实战操作
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载,MapReduce天生的特性保证了并行化和高容错率,而且相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况。在特定场景下,抽取过程会有很大的性能提升。大数据Hadoop之——数据同步工具Sqoop【云原生】Hadoop HA on k8s 环境部署。原创 2022-11-13 22:47:04 · 1469 阅读 · 4 评论 -
【云原生】Minio on k8s 讲解与实战操作
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。高性能分布式对象存储——MinIO(环境部署)高性能分布式对象存储——MinIO实战操作(MinIO扩容)原创 2022-11-12 17:46:17 · 2150 阅读 · 0 评论 -
【云原生】Apache Livy on k8s 讲解与实战操作
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:Spark开源REST服务——Apache Livy(Spark 客户端)原创 2022-11-07 23:05:03 · 2151 阅读 · 0 评论 -
【云原生】HBase on k8s 编排部署讲解与实战操作
HBase是一个面向列式存储的分布式数据库,其设计思想来源于 Google 的 BigTable 论文。HBase 底层存储基于 HDFS 实现,集群的管理基于 ZooKeeper 实现。HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能,基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾,是大数据领域中 Key-Value 数据结构存储最常用的数据库方案。列式存储的分布式数据库——HBase(环境部署),【云原生】Hive on k8s 环境部署。原创 2022-11-05 17:53:58 · 1586 阅读 · 0 评论 -
【云原生】Redis on k8s 编排部署讲解与实战操作
Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统,是跨平台的非关系型数据库。Redis有三种集群模式:主从模式,Sentinel(哨兵)模式,Cluster模式,这三种模式环境编排部署都会在本文章介绍与实战操作。Redis原理介绍与环境部署(主从模式、哨兵模式、集群模式)原创 2022-11-05 00:34:34 · 950 阅读 · 0 评论 -
【云原生】Spark on k8s 讲解与实战操作
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2022-10-15 19:32:18 · 4514 阅读 · 3 评论 -
【云原生】Elasticsearch + kibana on k8s 讲解与实战操作
Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式,多租户能力的全文搜索引擎。Elasticsearch是用Java开发的,根据Apache许可条款作为开源发布。GitHub:面试宝典之——Elasticsearch。原创 2022-10-14 00:01:52 · 2589 阅读 · 0 评论 -
【云原生】Azkaban on k8s 讲解与实战操作
大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。大数据Hadoop之——任务调度器Azkaban(Azkaban环境部署)原创 2022-10-07 15:42:59 · 1213 阅读 · 0 评论 -
【云原生】Flink on k8s 讲解与实战操作
Flink核心是一个流式的数据流执行引擎,并且能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布,数据通信及容错机制等功能。大数据Hadoop之——实时计算流计算引擎Flink(Flink环境部署)原创 2022-10-05 09:36:27 · 2241 阅读 · 1 评论 -
【云原生】Presto/Trino on k8s 环境部署
Presto是Facebook开源的MPP(Massively Parallel Processing:大规模并行处理)架构的OLAP(on-line transaction processing:联机事务处理),完全基于内存的并⾏计算,可针对不同数据源,执行大容量数据集的一款分布式SQL交互式查询引擎。它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。PrestoDB(背靠Facebook)和PrestoSQL现在改名为。原创 2022-10-03 22:18:07 · 1856 阅读 · 5 评论 -
【云原生】Hive on k8s 环境部署
Hive是基于Hadoop的一个数据仓库(Data Aarehouse,简称数仓、DW),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。是用于存储、分析、报告的数据系统。大数据Hadoop之——数据仓库HiveHive 架构Hive 客户端架构。原创 2022-10-01 18:13:29 · 2473 阅读 · 2 评论 -
【云原生】Hadoop HA on k8s 环境部署
在 Hadoop 2.0.0 之前,一个集群只有一个Namenode,这将面临单点故障问题。如果 Namenode 机器挂掉了,整个集群就用不了了。只有重启 Namenode ,才能恢复集群。另外正常计划维护集群的时候,还必须先停用整个集群,这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制,这里主要讲Hadoop HA on k8s 环境部署。【云原生】Hadoop on k8s 环境部署。原创 2022-09-26 23:44:59 · 3521 阅读 · 6 评论 -
【云原生】Hadoop on k8s 环境部署
Hadoop是Apache软件基金会下一个开源分布式计算平台,以HDFS(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入了YARN,Yarn是资源调度框架,能够细粒度的管理和调度任务,还能够支持其他的计算框架,比如spark)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上,形成分布式系统。目前最新版本已经是3.x了,官方文档。原创 2022-09-24 18:16:27 · 4773 阅读 · 22 评论 -
【云原生】MySQL on k8s 环境部署
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。资源隔离动态弹性扩缩容环境一致性运维方便。原创 2022-09-22 23:40:11 · 3830 阅读 · 0 评论 -
【云原生】zookeeper + kafka on k8s 环境部署
Apache ZooKeeper 是一个集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务,ZooKeeper 致力于开发和维护一个开源服务器,以实现高度可靠的分布式协调,其实也可以认为就是一个分布式数据库,只是结构比较特殊,是树状结构。原创 2022-09-18 22:48:50 · 3413 阅读 · 0 评论 -
【云原生】Prometheus+Grafana 监控 k8s 资源实战操作
Prometheus是一个开源的系统监控和报警系统,现在已经加入到CNCF基金会,成为继k8s之后第二个在CNCF托管的项目,在kubernetes容器管理系统中,通常会搭配prometheus进行监控,同时也支持多种exporter采集数据,还支持pushgateway进行数据上报,Prometheus性能足够支撑上万台规模的集群。原创 2022-09-18 13:01:43 · 17957 阅读 · 0 评论 -
【云原生】Prometheus+Grafana on K8s 环境部署
Prometheus 最开始是由 SoundCloud 开发的开源监控告警系统,是 Google BorgMon 监控系统的开源版本。在 2016 年,Prometheus 加入 CNCF,成为继 Kubernetes 之后第二个被 CNCF 托管的项目。随着 Kubernetes 在容器编排领头羊地位的确立,Prometheus 也成为 Kubernetes 容器监控的标配。Prometheus原理详解。原创 2022-09-17 12:07:58 · 1596 阅读 · 6 评论 -
【云原生】Kubernetes PDB(Pod Disruption Budget)介绍与简单使用
Pod Disruption Budget (pod 中断 预算) 简称PDB,含义其实是终止pod前通过 labelSelector 机制获取正常运行的pod数目的限制,目的是对自愿中断的保护措施,主动驱逐Pod。Kubernetes version >= 1.7 才支持 PodDisruptionBudget。原创 2022-09-12 11:35:39 · 2659 阅读 · 0 评论 -
【云原生】Kubernetes 有状态应用程序控制器 Operator
Operator 概念是由 CoreOS 的工程师于2016年提出的,也是由 CoreOS 开发的,用来扩展 Kubernetes API,特定的应用程序控制器,它用来创建、配置和管理复杂的有状态应用,如数据库、缓存和监控系统。原创 2022-09-12 07:30:00 · 1402 阅读 · 0 评论