- 博客(16)
- 收藏
- 关注
RSS订阅
原创 使用Prometheus对k8sdemo进行监控
使用prometheus监控的基本方法如下 对于容器化的服务，如果有metrics接口，可以使用servicemonitor与此pod对应的service建立关联，从而使Prometheus能读取到相关监控数据如果是没有metrics接口的普通应用，就要通过exportor的方式，利用exportor读取相关监控数据，再由Prometheus读取exportor的metrics接口的方式，实现对此应有的监控对于mysql，redis等常见的开源软件，有专用的exportor提供监控接口，但对于大部分自己开发
2022-12-03 21:47:12
963
原创 使用Jenkins对k8sdemo项目进行(CI/CD)持续集成和部署
实际的部署过程会很繁杂，需要反复配置，这也模拟了真实的工作过程，需要认真和仔细，最后的部署完成的结果如下后台检查，容器也运行正常登录网址，点击各个栏目也ok，如此，我们完成了demo项目的jenkins CI/CD。
2022-12-02 11:57:12
773
原创 在k8s集群上部署一个电商demo
在这篇文章里面，将用一个k8s集群搭建一个电商demo。）由于服务器数量限制，这里使用的k8s集群采用了一主二从的结构，同时由于服务器性能的限制，电商demo的MySQL数据库部署在master主机，redis缓存及其他前端、后端程序部署分别部署在2个节点中。这套电商demo的逻辑结构如下。
2022-11-29 16:23:06
969
1
原创 对k8s demo集群etcd的备份与恢复
之前的文章对k8s demo集群进行了CICD，以及监控配置，对于日常运维来说，对k8s集群的控制数据的备份也是必不可少的，所以本文对这个k8s demo集群的etcd进行了备份与恢复的测试演练。
2023-04-01 16:28:25
774
原创 Prometheus基于k8s的自动发现配置监控
k8s配置Prometheus监控时，可以通过servicemonitor的方式增加job，以此来增加监控项，但这种方式进行监控配置，只能手工一个一个的增加，如果k8s集群规模较大的情况下，这种方式会很麻烦。一种方式是采用consul注册中心的方式进行自动发现。另外一种方式是基于kubernetes_sd_configs的自动发现的方式配置增加监控项，本文主要讲解此种配置方式。
2023-03-04 18:17:39
2620
原创 Elasticsearch集群及kafka集群原理图解
这样的方式可以确保leader的唯一性，要么选出唯一的leader，要么选举失败，从而防止脑裂和假死，当leader挂掉之后，可以重新选举出新的leader节点使整个集群达成一致；3，elk-xj-01和elk-xj-02收到彼此的投票后，会用myid进行比较，谁的myid更大，则谁为leader，所以此时elk-xj-01发现elk-xj-02的myid比自身大，会修改投票，改选elk-xj-02为leader。2，es集群节点收到请求后进行路由判断，计算文档属于哪个分片，计算出后到相应的分片进行读取。
2023-01-31 22:29:01
440
原创 在ELFK架构中加入kafka
传统的ELFK架构中，filebeat到logstash这个过程中，由于logstash要进行日志的分析处理，而filebeat至进行日志的收集和发送，处理过程较为简单，所以当日志量非常巨大的时候，logstash会由于处理不及时导致日志或数据的丢失，这时候可以在filebeat和logstash之间加入kafka存储信息，在logstash处理不及时的时候，日志或数据不至于丢失。
2023-01-20 01:01:51
386
原创 使用Prometheus对k8s集群外的Elasticsearch进行监控
本文介绍了使用Prometheus对k8s集群外的elasticsearch进行监控，这里Prometheus是使用operator部署于k8s集群中，相较于进程部署或docker部署的Prometheus，部署过程更为复杂，不能通过直接修改配置文件的方式增加job，而需要采用k8s的方式进行配置。配置步骤为：1，增加endpoint和service，使k8s集群连接至集群外的服务（这里使集群外的elasticsearch服务）
2023-01-13 15:22:58
1514
原创 elasticsearch数据批量导入的两种思路
因为文件本身已经是json格式，所以可以直接使用filebeat来导入。然后通过指定配置文件的方式，一次性启动。通过浏览器插件查看，已经写入成功。使用postman来导入。使用python脚本。
2023-01-08 22:34:16
1114
原创 使用postman和es插件操作elasticsearch API
本文介绍了使用postman和es浏览器插件操作elasticsearch API的常用方法本文使用的es浏览器插件时edge下的elasticvue，可以在edge的应用商店直接搜索安装，相较于es-head，这个插件一直在维护更新，使用还是很方便的。
2023-01-08 19:27:34
2328
原创 使用ELFK收集分析k8sdemo日志
这里使用ELFK收集之前部署的k8sdemo，作为测试，就收集一个日志即可。这里选择了cosmall日志，这个程序实质上是一个nginx程序，作为反向代理使用。
2022-12-31 23:51:45
333
原创 ELK收集分析处理mysql slowlog
这篇文章没有涉及ELK程序的安装，重点关注于以下几个方面1，通过filebeat收集mysql-slowlog，并将slowlog的多行合并为一行2，logstash通过grok将slowlog处理为json格式3，通过kibana的dashboard展示数据。
2022-12-28 22:06:30
386
原创 grok正则解析mysql slowlog
mysql的slowlog通过filebeat处理，合并为一行以后，格式还是比较复杂的，通过百度可以网上查到一些grok表达式，但有的可用，有的不可用，也没有对此进行解析，比较难看懂。处理也比较简单，因为最后肯定是sql语句，所以使用了GREEDYDATA这个表达式，匹配所有字符。因为标准的grok正则表达式是不能匹配换行符的，如果有换行符，必须要单独做处理。我们把第一行和第二行的表达式合并起来发现是报错的，为什么呢？后面的IP，NUMBER均为预定义表达式，比较好理解。首先解析第一行，对应的表达式为。
2022-12-28 21:37:46
709
原创 kubernetes创建只具有只读权限的账号
日常运维账号应该是权限最小化的账号，且有时开发需要登陆生产机，避免开发误操作引起故障，也只应给到开发只读权限的账号。本文创建一个只具有只读权限的ClusterRole，并重新生成~/.kube/config，将此配置拷贝到日常运维账号or开发账号下，使其只具备只读的操作权限。
2022-12-20 17:07:19
686
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人