大神运维知识
文章平均质量分 87
本章节是运维知识分享的第四章节,内容稍有难度,包括ELFK、Docker、K8s、MySQL数据库等
我是koten
10年运维经验,持续分享技术干货,立志做运维行业的领路人。
展开
-
【运维知识大神篇】运维界的超神器Kubernetes教程6(制作yum仓库镜像实战项目:初始化容器技术+可用性探针检查+rc资源部署2个副本+svc提供统一访问入口+在K8S内部访问测试)
本篇文章带来制作yum仓库的镜像实战项目,要求利用到初始化容器技术,可用性探针检查livessProbe,rc资源部署2个副本,svc提供统一的访问入口,在K8S内部启动一个centos进行访问测试,话不多说,直接开始!原创 2024-02-19 15:12:53 · 473 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程10(kafka集群原理+基本使用+zookeeper和kafka堆内存调优+kafka监控和压力测试+filebeat和logstash对接kafka)
本篇文章继续给大家介绍ELFK日志分析,我们先前介绍了ELFK架构,zookeeper部署使用,kafka的部署,仅差kafka使用就将整个体系融汇贯通了。我们本篇文章将以kafka为核心,详细介绍kafka使用,最终将kafka融入ELFK架构中,大致内容见下面目录。原创 2023-12-18 17:21:09 · 1565 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程17(metric-server采集资源数据+HPA水平扩容详解+HPA测试示例+Helm资源超详细讲解+主流的Helm仓库使用)
本篇文章继续给大家介绍Kubernetes的内容,包含metric-server采集资源数据,HPA水平扩容详解,两种方式创建hpa,对Pod进行压测,HPA测试示例,Helm资源超详细讲解(管理Chart生命周期+自定义Chart+基于helm进行升级/回滚),主流的Helm仓库使用。内容已经接近尾声,望诸君坚持到底!!原创 2024-07-08 21:47:00 · 845 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程16(详解Secret资源创建方式+Pod引用secret的两种方式+Pod拉取私有harbor私有项目案例+详解Dashboard部署使用)
本篇文章继续给大家介绍Kubernetes的内容,主要讲解Secret的资源和Dashboard的部署使用,干货满满,看到就是赚到!包含secret的两种创建方式,Pod引用secret的两种方式,Pod拉取私有项目镜像案例,Dashboard的部署与使用。原创 2024-06-19 09:30:00 · 883 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程14(RBAC三种认证方式详解:基于用户+基于用户组+基于服务账号)
本篇文章继续给大家介绍Kubernetes,内容依旧烧脑,不过内容也已经过了一大半了,如果你把我Kubernetes前面的教程都看懂了的话,那么你已经很厉害了,坚持下去!本篇文章主要介绍RBAC的三种认证方式,分别是基于用户、基于用户组、基于服务账号的三种认证。原创 2024-06-12 21:39:09 · 820 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程15(数据持久化详解:Persistent Volume+Persistent Volume Claim+Storage Class)
传统的数据集挂载方式是直接将Pod的数据挂载至NFS,我们可以引入PV-PVC实现解耦。当我们有将NFS数据迁移到Ceph的需求时,NFS和Ceph都是存储运维来解决部署,而K8s运维就需要在Pod中接入Ceph,Pod声明PVC使用多少存储,PVC与PV自动关联,PV再挂载到Ceph上,PV也不许与K8s运维来关心,声明了PVC后会自动连通的。但是存储运维可能不懂PV,因为它属于中间产物,又与ceph关联,又与PVC进行关联,所以我们可以引入SC动态存储类(StorageClass)自动创建PV。原创 2024-06-17 10:00:00 · 769 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程13(LNMT架构上K8s集群之ZrLog博客实战练习:deployment+service+ingress+nfs+https)
本篇文章继续给大家介绍Kubernetes的实战,部署zrlog博客的项目到K8s集群,之前在进阶篇介绍过该项目的搭建,详见下面两篇文章,部署项目的时候先规划,有了思路之后,按照思路去部署,这样一个地方出错了,解决一个地方的问题,不至于问题解决解决着不知道要干啥了,并且这么干整体的思路不容易出错。原创 2024-05-28 09:30:00 · 1108 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程12(Endpoints资源+service详解四种类型+详解Pod调度的五种方式+Job控制器完成一次性任务+CronJob周期性完成任务)
本篇文章继续给大家介绍Kubernetes的内容,还是依旧的有难度,高难度意味着高工资嘛,这个没啥,还是希望大家继续努力,攻克K8s!本篇文章内容包括Endpoints资源、service详解四种类型,玩转Pod调度的五种方式,有污点、污点容忍、节点选择器、亲和性、DaemonSet控制器,Job控制器完成一次性任务和CronJob控制器周期性完成任务。原创 2024-03-11 09:55:23 · 1194 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程9(实战练习:部署wordpress到k8s集群,使用svc和rc资源实现+项目思路+项目实操+项目展示)
使用之前制作好的wordpress镜像,配合数据库镜像进行操作,由于我们会在不同的节点上做,我们需要考虑做NFS挂载,做wordpress的代码文件的和数据库的NFS挂载,以保证pod删除后数据依旧存在,保证在访问的时候不会因为访问到容器不同请求的内容不一样,类似于没做会话保持的那种状态。也可以先做出来一步wordpress,发现部署业务只部署到了一个Pod上,再拆分出数据库,再重新部署,发现文字刷新可以访问,因为文字是保存在数据库上,但是图片刷新不出来,再去挂载图片目录,发现提交不了,再去修改权限。原创 2024-03-04 14:31:31 · 592 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程11(LNMT架构上K8s集群之Tomcat与数据库连通实战练习)
本篇文章介绍LNMT架构上K8s集群之Tomcat实战练习,算是一个实战项目,先前进阶篇介绍LNMP架构介绍的多,LNMT架构也不能忽视,甚至在企业中比LNMP还要常见。原创 2024-03-07 10:07:17 · 550 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程10(RS资源表达式筛选Pod的四大规则+Deployment资源结合RS资源做镜像升级和各种升级策略+coreDNS服务IP与A记录解析原理)
本篇文章继续介绍Kubernetes的内容,包括RS资源表达式筛选Pod的四大规则,Deployment资源结合RS资源进行镜像升级和各种升级策略,版本回滚,deployment部署redis实战,coreDNS的服务器与A记录解析原理,内容比较复杂,学透了才能实现K8s的蜕变!!!原创 2024-03-04 14:34:19 · 1111 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程8(实战练习:制作zookeeper的镜像,在k8s集群运行,并根据镜像做可用性探针检查)
本篇文章结合了之前的内容,讲解一个zookeeper上k8s集群的实战项目!由于zookeeper需要JDK,所以先制作一个JDK的镜像,再基于JDK镜像制作zookeeper镜像,在k8s集群用pod运行,由于zookeeper有两个端口,所以两个端口都可以进行可用性探针检查的tcpSocket,我这边一个用健康检查探针,一个用可用性检查探针。原创 2024-02-29 15:50:09 · 492 阅读 · 1 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程7(NodePort+名称空间+ipvs工作模式+可用探针和启动探针+静态Pod+Pod优雅终止+Pod创建删除流程+rc和svc实现应用升级)
本篇文章继续给大家介绍运维界的超神器Kubernetes教程,内容较多,细细品味,你将对Kubernetes有更多的理解,包括Service的NodePort类型,名称空间的增删查,切换kube-proxy工作模式为生产环境常用的ipvs,可用性检查探针readinessProbe和启动探针startProbe,静态Pod,Pod的优雅终止,Pod的创建删除流程,利用rc和svc实现应用升级。原创 2024-02-21 14:30:44 · 1247 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程5(初始化容器+configMap进阶详解+RC控制器控制Pod+svc暴露pod端口实现负载均衡+健康状态检查探针livenessProbe)
本篇文章继续给大家介绍Kubernetes的内容,相较于之前的内容有些难度,需要反复练习和理解。开始之前我们先思考几个问题,Pod和容器是什么关系?为什么在Pod内重启容器IP不会发生变化,如何让IP发生变化呢?configMap除了存储卷的方式挂载还有什么其他的方式挂载吗?我们带着几个问题,进入今天的文章内容,包含初始化容器、configMap的进阶内容,env注入cm环境变量,rc控制器实现pod的数量控制,svc暴露pod端口进行负载均衡,健康状态检查探针livenessProbe原创 2024-01-18 15:50:45 · 1100 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程4,事已至此,来一波实战吧!(整合项目进镜像+打包项目成镜像+将Docker项目上K8s集群)
本篇文章给大家分享实战项目,干货满满,速来学习!实战1:整合项目进镜像;实战2:打包项目成镜像,将Docker项目上K8s集群。原创 2024-01-16 11:38:25 · 684 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程3(Pod基础管理命令与示例+修改镜像实战案例+标签管理的两种方式+三种方式实现Pod数据持久化+configMap配置文件挂载及练习实战)
本篇文章继续给大家讲解运维界的超神器Kubernetes的内容,带你短时间内入门,Pod基础管理命令让你快速上手,命令敲到飞起;修改镜像实战,让别人的镜像为你所用;标签管理,实现一个标签删除所有节点的pod;Pod数据持久化,不管是不是同一Pod,同一节点都能实现保留数据,configMap配置文件挂载,让你修改配置文件更加方便!原创 2024-01-12 13:50:22 · 1109 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程2(资源清单编写+镜像下载策略+容器重启策略+资源限制详解+端口映射详解+K8s故障排查技巧)
本篇文章继续给大家介绍Kubernetes,主要是Pod的进阶知识,包括资源清单的编写,镜像下载策略,容器重启策略,资源限制详解,端口映射详解,五大K8s故障排查技巧。带你深入了解Pod的魅力。原创 2024-01-09 10:39:25 · 1064 阅读 · 0 评论 -
【运维知识大神篇】运维界的超神器Kubernetes教程1(组件架构概述+手撕架构图+生产环境部署K8s+ 部署Flannel的CNI插件+K8s集群资源清单编写+部署游戏和博客镜像上K8s集群实战)
K8s有很多组件,这些组件一起构成K8s集群,了解组件前先了解两个身份,在之前控制面板和工作节点分别叫master和slave,后来因为某些原因,更名为controller plane和worker node。在控制面板上有etcd负责存储,api-server是集群访问入门,scheduler负责pod调度,有很多种调度算法,controller manager是控制器,监控集群状态并对其调整维护;原创 2024-01-04 15:47:27 · 1820 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程7(Harbor配置HTTPS证书的两种方式+Harbor两种方案实现高可用+镜像推送至Docker hub官方仓库和阿里云镜像仓库+拉取海外镜像技巧)
本篇文章继续介绍Docker内容,包含Harbor配置HTTPS证书的两种方式(阿里云官方证书与自建证书),Harbor两种方案实现高可用(共享存储目录与主从复制),镜像推送至Docker hub官方仓库和阿里云镜像仓库及拉取海外镜像技巧。原创 2024-01-03 10:00:00 · 2083 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程6(Docker-Compose使用详解+Linux特性管理+macvlan技术+consul实现大规模跨主机通信overlay+私有仓库harbor)
本篇文章继续给大家介绍Docker的有关内容,包括docker启动特权容器及利用特权修改内核参数,Attach和Exec区别,Docker-compose使用详解,Linux特性管理,macvlan技术实现docker跨主机通信,使用consul工具实现大规模跨主机通信overlay(基于vxlan实现),Docker相关参数说明,测试使用的Docker私有仓库docker-registry和企业级docker仓库harbor。原创 2024-01-02 10:08:28 · 1683 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程5(Namespace+Cgroup+OverlayFS原理+资源限制+自定义容器日志输出+Docker-compose安装+脚本全自动部署Docker)
本篇文章继续给大家分享docker的内容,在2007年前后,Linux内核支持Cgroup和NameSpace技术,这两种技术在增加对Linux的整体控制的同时,也成为了保持环境隔离的重要框架。此外Docker还有chroot和OverlayFS等核心技术,值得我们去研究其原理,为深刻理解docker打下基础。原创 2023-12-29 15:03:13 · 1166 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程4(Dockerfile常用指令大全+健康状态检查+多阶段构建+Dockerfile优化策略)
这篇文章继续给大家介绍Docker,主要讲解Dockerfile的内容,包含常用指令详解,多阶段构建,Dockerfile,玩好dockerfile,对k8s的学习也会有帮助的。原创 2023-12-28 10:09:25 · 1246 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程3(自定义网络+部署服务实战+容器重启策略+自动构建镜像技术Dockerfile详解+使用Docker一键部署wordpress的两种解法)
docker的网络类型有几种,有说3种,有说4种,有说5种的,我下面列了4种,5种是多了user-defined,3种是少了container。none没有网卡,只有一个本地回环网卡lo。host不会产生新的网络名称空间,直接使用宿主机的网络名称空间,效率极高,缺陷就是宿主机和监听端口和容器可能会存在冲突的风险。bridge桥接网卡,相当于VM的NAT网络,会产生一块新的网卡,会生成一对设备对,一端在容器里,另一端在宿主机上。container不会创建新的网卡,和指定的容器共享网络名称空间。原创 2023-12-27 14:09:42 · 1374 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程2(容器管理命令详解+数据持久化+端口映射底层原理+手动制作容器镜像+一个容器运行多个服务)
本篇文章继续给大家介绍Docker,主要介绍容器管理的内容,包括容器管理命令,数据持久化,端口映射底层原理,手动制作容器镜像及一个容器运行多个服务的实战。原创 2023-12-27 14:05:53 · 1356 阅读 · 0 评论 -
【运维知识大神篇】运维人必学的Docker教程1(Docker安装部署+Docker镜像管理+容器管理常用命令+搭建docker的本地yum源+windows系统安装docker环境)
本篇文章开始给大家介绍Docker的部署使用。所谓的容器技术就是能够将计算机的程序及其所依赖的库进行打包的一种技术手段,方便进行传输,部署,运行;容器可以实现帮我们将程序和其所依赖的库文件进行打包。原创 2023-12-21 16:12:44 · 5933 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程9(zookeeper集群部署+使用+leader选举流程+zab协议写入原理+kafka集群部署+zabbix监控zookeeper、kafka集群)
当我们的数据足够多时,我们需要用到kafka的消息队列进行缓冲,消息队列优势有很多,例如可以削峰填谷,指流量图相对于不使用消息队列流量的流入比较平缓,减少服务器压力;还有应用解耦,当我们一部分产品功能出问题时,其他功能不会有影响;还有异步提速,我们之前发送请求给解耦服务器可能需要200毫秒,但是我们发送给mq(消息队列)可能需要50毫秒,解耦服务器提前将数据存储在消息队列中,这样用户获取数据会更快,提升了用户体验。Kafka 是一个分布式消息系统,ZooKeeper则是分布式应用程序的协调服务。原创 2023-12-08 16:34:12 · 1168 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程8(filebeat多行匹配+filestream替换log类型+ES集群修复脚本+ES集群加密+角色访问控制+ES集群配置HTTPS加密)
本篇文章给大家介绍filebeat多行匹配、filestream替换log类型、ES集群修复脚本、ES集群加密、角色访问控制、ES集群配置HTTPS加密,kibana与ES集群加密传输,kibana的HTTPS加密等内容原创 2023-12-01 10:46:52 · 1597 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程7(filebeat常用模块+filebeat采集固定格式日志+自定义日志格式写入ES+EFK架构转ELFK架构+两个业务实战练习)
虽然写入了索引,但是我们需要自定义索引的名称及其他内容,可以在filebeat中自定义索引模板,还是用我们二进制软件包解压的filebeat。注意,自定义模板的时候不要有比这个模板匹配范围更广的模板,否则会出问题。1、编辑filebeat配置文件hosts:# 配置索引的名称# 禁用索引的生命周期管理。原创 2023-11-30 13:57:28 · 1845 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程6(logstash商品分析实战练习+pipline实现多实例+filebeat部署使用+ELFK架构实战练习)
本篇文章继续给大家介绍ELK,介绍logstash的商品分析实战练习,通过logstash写入es数据,通过kibana可视化输出,还介绍pipline实现多实例,详解filebeat部署使用,实现轻量化数据采集。再将ELK架构升级为ELFK架构,实现采集数据,数据转换,存储数据,数据可视化的全部功能。原创 2023-11-29 10:13:32 · 1239 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程5(Logstash中Filter常用插件详解+实战练习)
本篇文章主要讲解logstash的有关内容,包括filter的grok、date、user_agent、geoip、mutate插件,多个输入输出方案(多实例+if多分支语句),每个知识点都涉及实战练习,在实战中学习,事半功倍!原创 2023-11-28 14:50:47 · 1144 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程4(ES读写文档原理+集群角色+master节点与数据节点分离+Logstash安装部署+Logstash采集本地文件+采集Nginx日志)
本篇文章继续给大家介绍ELK日志分析的有关内容,我们的ES和Kibana都介绍的差不多了,所以本篇文章重点介绍Logstash的有关内容,介绍完毕后,我们的ELK架构将初步形成,此外还有ES读写文档的原理,了解原理,更深层次的理解,使用ES。原创 2023-11-24 11:23:28 · 1215 阅读 · 0 评论 -
【运维知识大神篇】zabbix监控ES集群API实战(端口+节点+健康状态)
本篇文章介绍,使用zabbix监控下ES集群API,zabbix监控是一个长期的过程,需要搞完善也很困难,并不是简单监控数值这么简单,深入的还有故障排查,告警抑制,链路追踪等等,我们本篇文章结合ES集群的API对ES的端口,节点,健康状态进行监控,发现问题及时告警。原创 2023-11-17 09:00:00 · 807 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程3(DSL语句+IK分词器+索引模板+Kibana部署使用)
本篇文章继续给大家介绍ELK日志分析系统,包括DSL语句、IK分词器、索引模板和Kibana可视化工具的部署与使用。在介绍之前我们先创建索引,写入一些数据。创建索引批量写入10条测试数据。原创 2023-11-16 08:30:00 · 349 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程2(ES-head工具+Postman工具+ES的常用术语+ES状态颜色+JSON快速入门+ES中API使用方法+批量存储/读取练习)
本篇文章继续介绍ELS日志分析,还是ES的相关内容,包括ES-head工具,Postman工具,ES常用术语、ES状态颜色、JSON快速入门、ES中API使用、批量存储/读取练习,带大家深入了解ES的功能和使用。原创 2023-10-30 09:15:00 · 535 阅读 · 0 评论 -
【运维知识大神篇】两种方法,一键部署ElasticSearch集群(Shell+Ansible自动化部署)
本篇文章给大家介绍一下用Shell和Ansible两种方式,去一键部署ES(ElasticSearch)集群,实现在集群部署中的批量化操作,享受自动化部署的魅力。原创 2023-10-27 14:16:01 · 987 阅读 · 0 评论 -
【运维知识大神篇】超详细的ELFK日志分析教程1(ES单点部署+JVM优化+配置OracleJDK+ES参数配置+ES集群搭建+故障排查方法)
本篇文章开始给大家介绍ELK日志分析,ElasticSearch(ES),负责日志的存储和检索。Logstash,负责日志的收集,过滤和格式化;- K:Kibana,负责日志的展示统计和数据可视化。我们的内容也进入了运维知识的大神篇,大神篇会介绍ELK、docker、K8s、数据库等内容。首先我们需要用ES(Elasticsearch)去储存查询我们日志的数据,所以它在这个环节比较核心,没有ES我们的数据采集了也没有地方放,看也没法看。原创 2023-10-25 09:00:00 · 706 阅读 · 1 评论