- 博客(16)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 使用Prometheus对k8sdemo进行监控
使用prometheus监控的基本方法如下 对于容器化的服务,如果有metrics接口,可以使用servicemonitor与此pod对应的service建立关联,从而使Prometheus能读取到相关监控数据如果是没有metrics接口的普通应用,就要通过exportor的方式,利用exportor读取相关监控数据,再由Prometheus读取exportor的metrics接口的方式,实现对此应有的监控对于mysql,redis等常见的开源软件,有专用的exportor提供监控接口,但对于大部分自己开发
2022-12-03 21:47:12
963
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 使用Jenkins对k8sdemo项目进行(CI/CD)持续集成和部署
实际的部署过程会很繁杂,需要反复配置,这也模拟了真实的工作过程,需要认真和仔细,最后的部署完成的结果如下后台检查,容器也运行正常登录网址,点击各个栏目也ok,如此,我们完成了demo项目的jenkins CI/CD。
2022-12-02 11:57:12
773
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 在k8s集群上部署一个电商demo
在这篇文章里面,将用一个k8s集群搭建一个电商demo。)由于服务器数量限制,这里使用的k8s集群采用了一主二从的结构,同时由于服务器性能的限制,电商demo的MySQL数据库部署在master主机,redis缓存及其他前端、后端程序部署分别部署在2个节点中。这套电商demo的逻辑结构如下。
2022-11-29 16:23:06
969
1
原创 对k8s demo集群etcd的备份与恢复
之前的文章对k8s demo集群进行了CICD,以及监控配置,对于日常运维来说,对k8s集群的控制数据的备份也是必不可少的,所以本文对这个k8s demo集群的etcd进行了备份与恢复的测试演练。
2023-04-01 16:28:25
774
原创 Prometheus基于k8s的自动发现配置监控
k8s配置Prometheus监控时,可以通过servicemonitor的方式增加job,以此来增加监控项,但这种方式进行监控配置,只能手工一个一个的增加,如果k8s集群规模较大的情况下,这种方式会很麻烦。一种方式是采用consul注册中心的方式进行自动发现。另外一种方式是基于kubernetes_sd_configs的自动发现的方式配置增加监控项,本文主要讲解此种配置方式。
2023-03-04 18:17:39
2620
原创 Elasticsearch集群及kafka集群原理图解
这样的方式可以确保leader的唯一性,要么选出唯一的leader,要么选举失败,从而防止脑裂和假死,当leader挂掉之后,可以重新选举出新的leader节点使整个集群达成一致;3,elk-xj-01和elk-xj-02收到彼此的投票后,会用myid进行比较,谁的myid更大,则谁为leader,所以此时elk-xj-01发现elk-xj-02的myid比自身大,会修改投票,改选elk-xj-02为leader。2,es集群节点收到请求后进行路由判断,计算文档属于哪个分片,计算出后到相应的分片进行读取。
2023-01-31 22:29:01
440
原创 在ELFK架构中加入kafka
传统的ELFK架构中,filebeat到logstash这个过程中,由于logstash要进行日志的分析处理,而filebeat至进行日志的收集和发送,处理过程较为简单,所以当日志量非常巨大的时候,logstash会由于处理不及时导致日志或数据的丢失,这时候可以在filebeat和logstash之间加入kafka存储信息,在logstash处理不及时的时候,日志或数据不至于丢失。
2023-01-20 01:01:51
386
原创 使用Prometheus对k8s集群外的Elasticsearch进行监控
本文介绍了使用Prometheus对k8s集群外的elasticsearch进行监控,这里Prometheus是使用operator部署于k8s集群中,相较于进程部署或docker部署的Prometheus,部署过程更为复杂,不能通过直接修改配置文件的方式增加job,而需要采用k8s的方式进行配置。配置步骤为:1,增加endpoint和service,使k8s集群连接至集群外的服务(这里使集群外的elasticsearch服务)
2023-01-13 15:22:58
1514
原创 elasticsearch数据批量导入的两种思路
因为文件本身已经是json格式,所以可以直接使用filebeat来导入。然后通过指定配置文件的方式,一次性启动。通过浏览器插件查看,已经写入成功。使用postman来导入。使用python脚本。
2023-01-08 22:34:16
1114
原创 使用postman和es插件操作elasticsearch API
本文介绍了使用postman和es浏览器插件操作elasticsearch API的常用方法本文使用的es浏览器插件时edge下的elasticvue,可以在edge的应用商店直接搜索安装,相较于es-head,这个插件一直在维护更新,使用还是很方便的。
2023-01-08 19:27:34
2328
原创 使用ELFK收集分析k8sdemo日志
这里使用ELFK收集之前部署的k8sdemo,作为测试,就收集一个日志即可。这里选择了cosmall日志,这个程序实质上是一个nginx程序,作为反向代理使用。
2022-12-31 23:51:45
333
原创 ELK收集分析处理mysql slowlog
这篇文章没有涉及ELK程序的安装,重点关注于以下几个方面1,通过filebeat收集mysql-slowlog,并将slowlog的多行合并为一行2,logstash通过grok将slowlog处理为json格式3,通过kibana的dashboard展示数据。
2022-12-28 22:06:30
386
原创 grok正则解析mysql slowlog
mysql的slowlog通过filebeat处理,合并为一行以后,格式还是比较复杂的,通过百度可以网上查到一些grok表达式,但有的可用,有的不可用,也没有对此进行解析,比较难看懂。处理也比较简单,因为最后肯定是sql语句,所以使用了GREEDYDATA这个表达式,匹配所有字符。因为标准的grok正则表达式是不能匹配换行符的,如果有换行符,必须要单独做处理。我们把第一行和第二行的表达式合并起来发现是报错的,为什么呢?后面的IP,NUMBER均为预定义表达式,比较好理解。首先解析第一行,对应的表达式为。
2022-12-28 21:37:46
709
原创 kubernetes创建只具有只读权限的账号
日常运维账号应该是权限最小化的账号,且有时开发需要登陆生产机,避免开发误操作引起故障,也只应给到开发只读权限的账号。本文创建一个只具有只读权限的ClusterRole,并重新生成~/.kube/config,将此配置拷贝到日常运维账号or开发账号下,使其只具备只读的操作权限。
2022-12-20 17:07:19
686
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人