- 博客(9)
- 收藏
- 关注
原创 kubernets节点异常问题分析
问题现象kubernetes集群中,发生部分pod应用不可用的告警问题排查基于这种情况,根据经验判断,怀疑是对应的某个节点出现问题。找到其中一个pod,kubectl get pod -o wide|grep pod-xxx 查看其在哪个节点上通过kubectl describe node xxxx 查看该node上的信息,发现该节点上的pod都出现上在了不可用的应用清单中。另外还观察到了一条warning信息通过其ip地址,登录服务器,发现已经无法登录了。查看node节点监控
2021-08-09 10:19:25 1315
原创 基于nginx网关的浏览器上传大文件失败问题分析
前言 nginx用的时候很开心,出现问题时却很要命。这次出现的问题虽然能有很多方式去解决,但我仍旧希望能够用一个问题将知识进行串联,深挖其根因。问题现象浏览器上传文件,文件大小是四百多M,等待一段时间后,上传失败。显示报错如下图:问题排查信息收集遇到这种问题上面出现了两个错误,一个是网络错误,一个返回的是413。413这个错误信息提示很明显,Request Entity Too Large。凭多年老司机经验,查看nginx配置,发现配置的client_max_body_size为300
2021-07-11 23:14:22 2086 4
原创 kubelet的cpu过高问题排查
问题现象kubernetes集群收到一条,kubelet的cpu使用率较高的告警,过会就恢复了。然后又告警,这样的情况反反复复发生。已知信息kubebernetes 1.17.2kubelet 1.17.2cpu使用率过高的情况并非持续的,这里可以初步怀疑,cpu的过高可能是被某个函数定时触发。问题排查先来一波常规套路,登录上服务器,执行如下操作:## 找到进程的pidps -ef|grep kubelet## 查看该进程的状态top -p xxx## 每隔1秒查看进程状态,
2021-07-11 23:13:06 2570 1
原创 kubernetes一直创建pod是咋回事
问题现象监控发出告警通知,某台机器的kubelet的cpu过高,kube-apiserver的qps也过高,kube-controller-manager也告警其请求apiserver的qps过高。最后排查下来,发现了有一个pod一直被驱逐,然后又不断的不创建。这就很神奇了,我就省略一些排查过程,重点聊聊如下几个问题,大家也可以带着问题思考下。这种情况是怎么触发的?为什么会出现这种情况?怎么避免这种情况?废话不多说,咱们先将问题来复现,再来好好分析上面的问题。问题复现首先我先来展示下依
2021-07-11 23:10:52 1700
原创 kubernetes通过kubectl无法查看日志问题处理过程
## 问题现象输入:```kubectl logs --tail 200 -f -n xxx pod-name-xxxx.```返回结果:```error: You must be logged in to the server (the server has asked for the client to provide credentials (get nodes))```## 已知信息1. kubernetes版本:1.17.22. 证书前不久已更新## 排查过程看到这个报错
2021-07-11 23:01:39 4626
转载 jvm关于内存管理和垃圾回收的学习总结
一、什么是JVM JVM是Java Virtual Machine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的计算机,是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行,至少需要编译成不同的目标代码。而
2017-07-14 16:51:28 312
原创 基于阿里云RDS数据误删除的回滚方案
场景是这样子的:如果有人不小心删了数据库,怎么办? 主从?恐怕不行,数据实时同步,备库的数据也被删了。 那从库延迟同步,如何?嗯嗯,应该可以。那问题来了。如果延迟同步的情况下,发生数据库误删除,运维人员赶紧切到从库上,终究是能尽快的恢复业务,只是有一部分数据会丢失,那么怎样让服务继续运行的情况下,补回那一部分丢失的数据呢? 这种情况下,我的脚本就派
2017-06-27 09:52:59 5723
原创 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
公司最近上线了日志分析系统,每天都要给一些同事提供接口请求数据。方法比较笨,登录到kibana网站,找到画好的模板图,截图,发送给同事。我觉得这种方式,我是要崩溃的。所以我下定决心,周末在家把这个事情给自动化了。以下是自己的一个思路:1. 抓取api调用的一整天公有云上的数据2. 分析数据,得到count值,各个url上请求的count值3. 画出一张饼形图4. 发送邮
2017-06-25 11:28:45 4973
原创 nginx对ip限流的操作
一.背景 我们经常遇到这种情况,客户使用生产环境进行了压力测试,大量的请求,导致其他客户的请求未能响应。 服务器资源有限,但是客户端来的请求在不断的上涨, 为了保证一部分的请求能够正常相应, 不得不放弃一些客户端来的请求, 这个时候我们会选择行的进行一些NGINX的限流操作, 这种操作可以很大程度上缓解服务器的压力, 使其他正常的请求能够得到正常响应.二.使用nginx模块
2017-06-15 19:26:39 4719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人