深夜服务器挂了,老板给你打电话,如何应对

最新推荐文章于 2023-02-18 12:10:26 发布
最新推荐文章于 2023-02-18 12:10:26 发布
阅读量1.4k 收藏 6
点赞数
分类专栏： 运维那些事
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42992919/article/details/94559969
版权

快去改BUG…

尽量避免BUG…

  • CPU被占满了怎么处理
  • 内存被占满了怎么处理
  • 带宽被占满了怎么处理
  • 磁盘被占满了怎么办 二种情况 第一种有大文件占磁盘空间,磁盘空间不足 一个是有程序在疯狂的读写磁盘 导致其他程序打不开

###解决方式1 . 以动态的方式查看进程状态
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。

下面详细介绍它的使用方法。

load average ‘w’ ‘uptime’ ‘free’ ‘find’ ‘iostat’ ‘/proc’ cpuinfo meminfo zoneinfo mouts
1.“需要进行调查法则”： 如果长期你的系统负载在 0.70 上下，那么你需要在事情变得更糟糕之前，花些时间了解其原因。
2.“现在就要修复法则”：1.00 。 如果你的服务器系统负载长期徘徊于 1.00，那么就应该马上解决这个问题。否则，你将半夜接到你上司的电话，这可不是件令人愉快的事情。
3.“凌晨三点半锻炼身体法则”：5.00。 如果你的服务器负载超过了 5.00 这个数字，那么你将失去你的睡眠，还得在会议中说明这情况发生的原因，总之千万不要让它发生。
如果没有办法可以想了 就迁移你们的业务

##2.shell脚本

ping 测试主机是否存活

-c 次数
-s 数据包大小
-i 间隔(单位秒)

echo 1 >/proc/sys/net/ipv4/icmp_echo_ignore_all 禁ping

ip addr || ifconfig 查看网卡 可以看出ip地址

nslookup 域名解析需要使用 nslookup www.baidu.com 211.157.15.189
linux没有自带需要额外安装

##网络出了问题解决方式
arp 负责将ip地址解析成mac地址

tracepath 路由跟踪

使用场景,当你的网络出现问题的时候，一般运营商会要你提供一份路由跟踪的表 就是用这个命令来实现

traceroute 192.168.1.1

可以使用yum provides */nslookup反查 查询这个命令在哪个包里面

常用交互命令

CPU

  • us 用户空间占用CPU百分比
  • sy 内核空间占用CPU百分比
  • ni 用户进程空间内改变过优先级的进程占用CPU百分比
  • id 空闲CPU百分比
  • wa CPU等待磁盘写入完成时间
    如果一台机器看到wa特别高，那么一般说明是磁盘IO出现问题，可以使用iostat等命令继续进行详细分析
  • hi 硬中断消耗时间
    由与系统相连的外设(比如网卡、硬盘)自动产生的。主要是用来通知操作系统系统外设状态的变化。比如当网卡收到数据包
    的时候，就会发出一个中断。我们通常所说的中断指的是硬中断(hardirq)。
  • si 软中断消耗时间
    为了满足实时系统的要求，中断处理应该是越快越好。Linux为了实现这个特点，当中断发生的时候，硬中断处理那些短时间
    就可以完成的工作，而将那些处理事件比较长的工作，放到中断之后来完成，也就是软中断(softirq)来完成。
    比如我们的U盘 在你弹出来的时候 有的时候需要等待比较长的时间 但是有的时候非常快
  • st: 虚拟机偷取时间
    st的名字很生动，偷取。。。是专门对虚拟机来说的，一台物理是可以虚拟化出几台虚拟机的。在其中一台虚拟机上用top查看发现st不为0，就说明本来有这么多个cpu时间是安排给我这个虚拟机的，但是由于某种虚拟技术，把这个cpu时间分配给了其他的虚拟机了。这就叫做偷取。
    Ctrl+L 擦除并且重写屏幕。
  • h或者? 显示帮助画面，给出一些简短的命令总结说明。
  • k 终止一个进程。系统将提示用户输入需要终止的进程PID，以及需要发送给该进程什么样的信号。一般的终止进程可以使用15信号；如果不能正常结束那就使用信号9强制结束该进程。默认值是信号15。在安全模式中此命令被屏蔽。

m 切换显示内存信息。
t 切换显示进程和CPU状态信息。
c 切换显示命令名称和完整命令行。
M 根据驻留内存大小进行排序。
P 根据CPU使用百分比大小进行排序。
T 根据时间/累计时间进行排序。
W 将当前设置写入~/.toprc文件中。这是写top配置文件的推荐方法。

USER   启动进程用户身份
PID    进程号
%CPU   CPU的利用率
%MEM   内存的利用率
VSZ    预留分配的虚拟内存
RSS    真实分配的内存
TTY    在哪个终端启用的进程
STAT   当前进程的状态
D    ：运行中的进程
R    ：运行中的进程
S    ：可中断的睡眠
T    ：停止或被追踪
Z    ：僵尸进程
X    ：死掉的进程
<    ：高优先级别的进程
nVN  ：低优先级别的进程
s    ：是一个进程组，代表还有子进程
+    ：前台进程
START   进程启动时间
TIME    进程运行了多长时间
COMMAND 用什么命令启动的进程

ps 查看进程状态 以静态的方式

-a 显示其他用户启动的进程
-u 启动这个进程的用户和它启动的时间
-x 查看系统中属于自己的进程
-ef 显示进程的父子关系
USER --启动进程用户身份
PID －－进程号
%CPU －－CPU的利用率
%MEM －－内存的利用率
VSZ －－预分分配的虚拟内存
RSS －－真实分配的内存
TTY －－在哪个终端启用的进程
STAT －－当前进程的状态
Ｄ：不可中断的睡眠
Ｒ：运行当中的进程
Ｓ: 可中断的睡眠
T : 停止或被追踪
Ｚ：僵尸进程
X : 死掉的进程
<:高优先级别的进程>
n/N：低优先级别的进程
s：是一个进程组，代表还有子进程
＋：前台进程
START －－进程启动时间
ＴIME －－进程运行了多长时间
COMMAND －－用什么命令启动的进程
ps -elf 查看父子进程
-e 显示所有进程
-l 长格式
-f 全格式
找出消耗内存最多的前10名进程
ps -auxf | sort -nr -k 4 | head -10
找出使用CPU最多的前10名进程
ps -auxf | sort -nr -k 3 | head -10

netstat 查看本机开放的端口

-t tcp连接
-u udp
-n 不作反解
-l 侦听
-p 进程名
-a 所有
netstat -anp tcp/udp/socket监听列表，对应网络连接列表。
netstat -tnp tcp的网络连接状态
netstat -tnlp 所有tcp的侦听列表
netstat -unp udp的网络连接
netstat -unlp udp的侦听列表
netstat -tunlp tcp/udp侦听侦听列表
netstat -rn 查询路由表
unix/类unix中有三种连接：
1.tcp 面向连接
2.udp 面向无连接
3.socket通常也称作"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求

nmap 端口扫描工具

nmap -p1-65535 (ipaddress) 扫描1-65535所有的端口在IP地址里面
nmap -PS 172.16.85.0/24 扫描网段中所有已激活的主机的端口，ip地址和物理地址
nmap -sO 192.168.1.19 确定目标机支持哪些IP协议 (TCP，ICMP，IGMP等): 特别慢
nmap -O 172.16.85.14 扫描目标主机的操作系统
nmap -T4 -A -v 172.16.147.13 全面扫描 主要是获取软件的版本号 在修复软件版本的时候需要用这个功能查看软件版本
乌云网 发布漏洞 针对软件版本的漏洞 ssh 2.2 2.3 2.6 ssh2.3 有漏洞
1000台机器 ssh2.3

服务端口号
HTTP80
HTTPS443
Telnet23
FTP21
ssh22
SMTP25
POP3110
TOMCAT8080
WIN远程登录3389
mysqlserver3306
nginx80

查看流量(网卡流量用于检查应用程序使用流量情况)

iftop 查看网卡流量使用 不能查询具体的应用程序使用了多少流量

nethogs 查看进程使用了具体的流量 可以查出程序的PID

用法 nethogs eth0(如果外网流量大就填外网，如果内网流量大就填内网)

通过pid使用 ps axu 和lsof查出进程 以及程序文件里面什么问题造成的

查看磁盘读写

yum -y install sysstat

iostat -x 1 10 查看当前磁盘读写 只能查看全局不能查看具体的程序使用了多少IO

iotop 找出使用io最高的应用程序

du -hs /opt 查看目录大小

凌晨三点 有台机器的读写非常高 导致业务部正常
找出读写最高的进程出来 (pid)

查看IO占用情况

dd if=/dev/zero of=/test.dbf bs=8k count=300000

-o：只显示有io操作的进程
-b：批量显示，无交互，主要用作记录到文件。
-n NUM：显示NUM次，主要用于非交互式模式。
-d SEC：间隔SEC秒显示一次。
-p PID：监控的进程pid。
-u USER：监控的进程用户。
iotop常用快捷键： 左右箭头：改变排序方式，默认是按IO排序。
r：改变排序顺序。
o：只显示有IO输出的进程。
p：进程/线程的显示方式的切换。
a：显示累积使用量。
q：退出
ps -ef |主进程给找出来

ss 能够快速的显示活动状态的套接字信息

和netstat的功能一模一样，
但是当你服务器的socket连接数量非常大的时候，使用netstat就是浪费你的生命 ss最大的优势就是他比netstat快很多
####常用命令

  • 显示ICP连接 ss -t -a
  • 显示sockets 摘要 ss -s
  • 列出所有打开的网络连接端口 ss -l
  • 查看进程使用的socket ss -pl
  • 找出套接字/端口应用程序 ss -pl|grep 3306
  • 显示所有的UDP sockets ss -u -a
    查看由多少个用户通过TCP或者其他的协议连接我的服务器
    ###lsof 查看当前被使用的文件

lsof功能一般结合ps 工具一起使用可以查询正在执行的文件和脚本

EchoPython
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
服务挂了，怎么自动恢复
04-20
Supervisor（http://supervisord.org/）是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，supervisort监听到进程死后，会自动将它重新拉起，很方便的做到进程自动恢复的功能，不再需要自己写shell脚本来控制。
CSS3深夜城市背景动画特效
07-24
在本文中，我们将深入探讨如何使用CSS3来创建一个引人入胜的“深夜城市背景动画特效”。...通过学习和实践这些CSS3技巧，你将能够创造出栩栩如生的“深夜城市背景动画特效”，为网页增添独特的视觉魅力。
一次服务器挂掉解决路程
weixin_30376509的博客
08-07 254
最近一个月服务器每天都挂掉， top -c 一下 发现 cpu 390% 蒙蔽了， top -Hp <pid> 发现有四个线程一直在跑 jstack 了一下 发现死锁了， 排查了很久 暂时没找到原因 只能决定写个python脚本监控一下了 当服务调用不通，jstack一下，然后重新拉起服务 这里用到psutil模块，要安装一下 # coding:utf-8 imp...
服务器出现宕机该如何解决
Sousuyi的博客
02-18 850
最好准备2个网站空间，他们存放的内容相同，而ip不同，并且机房的地理位置不同。这样2个主机，同时宕机的可能性就大大降低了。第一时间发现宕机问题后，可以迅速的通过修改dnspod.com中的域名记录，指向目前正常的网站空间Dnspod解析生效的时间是实时的，而一般的dns服务器，刷新时间较长，对外声称24小时内生效，按照实际经验看来，差不多30分钟内生效，否则就要检查域名绑定是否正确了。我们要第一时间，发现宕机的问题。如果他服务器宕机时，为了避免造成不必要的损失，要尽早通知服务商解决相关问题。
服务器出现宕机该怎么办
Sousuyi的博客
06-08 1388
1、要即时发现服务器宕机的问题。时间就是金钱，这是不变的真理。我们要第一时间，发现宕机的问题。如果他服务器宕机时，为了避免造成不必要的损失，要尽早通知服务商解决相关问题。2、多准备空间最好准备2个网站空间，他们存放的内容相同，而ip不同，并且机房的地理位置不同。这样2个主机，同时宕机的可能性就大大降低了。第一时间发现宕机问题后，可以迅速的通过修改dnspod.com中的域名记录，指向目前正常的网站空间Dnspod解析生效的时间是实时的，而一般的dns服务器，刷新时间较长，对外声称24小时内生效，按照实际经验
服务器挂掉原因
why is this
03-24 3045
今天服务器莫名其妙没有反应，但是nginx和memcached都在运行， 当我查看服务器内存使用情况时，发现内存使用率达到了90%多。 明显知道是内存占用太大导致服务器没有响应了。 而后内存又恢复到40%多，服务器也恢复正常了
DY云蹦迪项目挂机无人直播
04-19
3、“特殊时间段”效果好，这类直播间，放到凌晨效果出奇的好，深夜里无聊的时候，是***容易被这种新鲜事物吸引的。深夜emo 也是如此。 4、无人直播，24小时不间断直播，相比真人，大大节省时间成本和人工成本。 5、...
软件推荐：磁力云播深夜手机直播平台.pdf
11-18
软件推荐：磁力云播深夜手机直播平台.pdf
深夜牛排烤肉汉堡网站html5模板
02-24
深夜牛排烤肉汉堡网站html5模板
Linux服务器配置与管理：linux任务管理.pptx
05-01
【知识目标】 掌握：管理计划任务的方法 【能力目标】 ...模糊词语：如midnight(深夜),noon(中午),teatime(饮茶时间,一般是下午4点)等。 ③日期的指定方式有： 日期格式:month day(月 日)、mm/dd/yy(月/日/年)
DOS下实现服务器断线自动短信通知系统
05-17
一个是用于服务器监控（serverstate.bat）批处理文件，并将监控到的数据进行保存netstate.txt，以及判断服务器在线状态，当服务器断线丢失失四个PING包时，则自动调用另外一个批处理文件（mail.bat）进行DOS下发邮件，将要发送到对方的邮箱添加在相应的字段后面，使用DOS命令，在DOS窗口下实现邮件发送，如何实现短信通知，开通手机邮箱，然后设置邮件短信通知就可以了
所谓服务挂掉
LIXI.FUN
08-23 1640
【所谓服务挂掉】 不知道有没有人跟我有一样的疑问"大量请求涌入为什么会把服务搞挂掉？" 有线程池的存在，不是限制了进程能占用的系统资源么？为什么会挂掉呢？ 所以问题就出在，这个挂掉，具体指的是什么意思么？进程的崩溃吗？ 答：这里的“挂掉”一般情况下来说，说的还真不是进程挂掉。 以一个单体的 springboot 构建的 hello-world 的 web 程序来进行举例。 min = 200 max = 200 queue-size = Integer.MAX_VALUE 如果一下子涌入上千万个请求，假
记一个导致服务器挂掉8小时,问题仅仅是因为引入的一个包
MLiWeiPing的博客
01-10 205
问题 1月8号 使用Jenkins重构项目后,一直404,docker中其他项目都运行正常,日志没有报错,ping也ping不通 一开始觉得是服务器有问题,查看gateway一切正常,反反复复把环境重新启动了一遍,后来老大说就是代码有问题 随后进行了项目的回滚,到上一个tag版本,启动正常 经过排查,发现是因为引入的javax.validated版本服务器jdk不支持@validate 解决 这...
虚拟服务器死机了怎么重启,虚拟主机宕机怎么办
weixin_39585974的博客
08-11 1077
稳定性是考验虚拟主机的重要指标，能否长期稳定运转，是一个合格虚拟主机必备的素质。当然，在虚拟主机使用过程中，我们仍旧无法避免出现各类故障，比如宕机。那么当出现宕机情况时，我们需要怎样解决呢？1、联系云服务商联系云服务商确定宕机原因，如果条件允许，第一时间要求恢复运转。2、宕机原因排查服务器宕机，一般是a、虚拟主机空间满了：空间满了，很容易造成虚拟主机宕机，网站无法访问。这时，我们需要升级空间大小，...
服务挂了异常处理的方法
weixin_30810239的博客
09-06 266
String value = HttpClientUtil.postContent(ecampusUrl + jobUrl, "UTF-8", params);//比如这行的服务挂了，直接报异常了 if(StringUtils.isNotEmpty(value)){ try { ...
拨打电话
明耀的博客
04-11 201
<uses-permission android:name="android.permission.CALL_PHONE" /> Intent intent = new Intent(Intent.ACTION_CALL, Uri.parse("tel:" + message.getAddress())); startA...
服务器宕机，排查思路
weixin_69899223的博客
07-15 1639
服务器宕机，排查思路
计网-服务端主动关闭连接，服务端挂掉，客户端挂断了怎么办
weixin_59287292的博客
09-01 1102
计网-服务端主动关闭连接，服务端挂掉，客户端挂断了怎么办
Java接受摄像头服务器发送参数
最新发布
05-27
如果您想使用Java接收摄像头服务器发送的参数，可以使用Java Socket编程来实现。下面是一个简单的示例代码，可以帮助您开始： ``` import java.io.BufferedReader; import java.io.InputStreamReader; import java...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值