Linux下系统或服务排障的最佳实践

最新推荐文章于 2024-04-25 12:22:00 发布
最新推荐文章于 2024-04-25 12:22:00 发布
阅读量1k 收藏 2
点赞数
分类专栏： 故障排查

Linux下系统或服务排障的最佳实践
 

一、故障表现。首先一个应用或系统不正常，会表现在：1、前端应用/网页显示不正常，出错5XX，4XX或其他错误信息或慢或出不来；2、当前端端...
一、故障表现。首先一个应用或系统不正常，会表现在：
1、  前端应用/网页显示不正常，出错5XX，4XX或其他错误信息或慢或出不来；
2、  当前端端应用/网页暂时显示正常，但监控系统报警：如负载过高，CPU繁忙，系统占用比率过高；内存缺少，OOM（Out Of Memory），Swap使用过多等；磁盘空间不足，IO利用率过高；进程数过多，死锁；数据库慢查询过多，session\processes过多；流量过高，异常增减，断开；系统日志（dmesg或/var/log/message）报错；应用日志报错（各种错误，如4XX，5XX；或原来正常的接口现在无法访问；无法解析；响应时间过长….）；。。。。
3、系统时而正常，时而不正常，或者之前正确结果，但突然不正确，或者某地用户出问题，但本地正常。

\  


二、主要的原因：
1、  各类新版本发布、变更配置引起。如新版本配置不正确；iptables； DNS设置；接口调用发生变化等。【所有变更务必进行记录，以供查询】
2、  用户行为变化（如进行商业推广，接口加载变化），请求量大增。系统容量不足，如内核参数设置过小，资源过少。带宽不够；数据库慢。
3、  应用程序的BUG。
4、  运维人为错误的修改、配置。如修改密码，增加定时任务，脚本。
5、  网络或硬件故障。如交换机故障，网线故障（千兆变百兆），网卡驱动；磁盘故障、主板故障等。
6、 所依赖的接口或服务挂起(如DNS,后端接口).
7、  攻击或安全漏洞。
8、 ....
 
三、排查、分析及解决问题的办法【需要综合很多经验，故障要区别对待（P0~P4），大面积重要或核心功能受损最优先P0；个别用户外围功能受损：P4；每个级别承诺不同的响应时间】：
1、  仔细看报障提供的故障信息：包括但不限于故障方的环境【网络-电信还是网通，客户机IP地址，DNS地址，浏览器，操作系统等】，报障内容（截图）。自己看问题能否重现。如能重现，比较好办：依据经验，可能可快速判断问题所在；若不能，可进行抓包，常用工具：HttpWatch,HttpAnalyser,FireFox里的插件，wireshark等等。若不能重现，则继续：
2、  查看网络状态：ping 服务器及服务器上反ping用户IP或traceroute/tracert。同时看监控系统是否有监测到相关报警，确认无外围的硬件与网络问题。
3、  组织人手，让业务运维最直接的人参与进来，排查。确认是否最近有变更。
4、  着手自己排查：找到相关架构（前端所有机器Nginx,Squid等），应用服务器（PHP or Resin），缓存层Memcache，数据库（Mysql，Oracle），清楚地知道为该应用提供服务所有机器。
5、  查看前端机器的资源情况【负载，CPU，内存，磁盘，进程，定进任务等】：top, w, sar, dmesg(/var/log/messages), ps, df, free, vmstat, iostat, netstat, telnet, curl, wget, lsof, cat等等。如负载过高，CPU繁忙，系统占用比率过高；内存缺少，OOM（Out Of Memory），Swap使用过多等；磁盘空间不足，IO利用率过高；进程数过多，死锁；数据库慢查询过多，session\processes过多；流量过高，异常增减，断开；系统日志（dmesg或/var/log/message）报错；应用日志报错（各种错误，如4XX，5XX；或原来正常的接口现在无法访问；无法解析；响应时间过长….）；。。。。
dmesg
vi /var/log/messages
netstat –na|grep LISTEN
netstat –nlp –ip
iptables –nL
sysctl -a
cat /etc/rc.local
cat /etc/resolv.conf
ps –ef|grep java
ps –ef|grep php
ps –ef|grep mysql
ps –ef|grep nginx
df –h
fdisk –l
mount
crontab –l
sar –f /var/log/sa/sar* 将sar改为分钟级别记录，同时分析对比一段时间的变化，以Excel画图
分析日志（nginx等）的变化，请求数，错误率，做一段时间的对比，以Excel画图(不同机器横比,不同时间纵比)。
 
下面是一些技巧：
对比查看PHP服务器的PHP查询慢日志条数（slow query log count）： wc –l /tmp/clientweb/log/slow_~day.log
将多台服务器上sar的相应值拿出来，将在excel中画图对比(不同机器横比,不同时间纵比) ：
for file in `ls –tl /var/log/sa/ `
do
sar –f $file|awk ‘{print 100-$7}’
done
 
在Linux下以主机头信息查看某个IP的服务是否正常：
curl –H “Host:  www.5iops.com” http://202.96.159.234:80/index.php
curl –Iv –H “Host:  www.5iops.com” http://202.96.159.234:8080/index.php
 
demsg中有这个报错：ip_conntrack: table full, dropping packet.查看系统内核配置及当前使用状态：
 
[root@166-208 ~]# cat /proc/sys/net/ipv4/netfilter/ip_conntrack_max 
81920
[root@166-208 ~]# cat /proc/net/ip_conntrack|wc -l
45899
 
查找/目录下大于100M的文件：find / -size +100000k -exec ls -hl {} \;
[root@166-88 /]# find / -size +100000k -exec ls -hl {} \;
-rw-r--r-- 1 root root 526M 12-03 20:29 /usr/local/nginx/logs/error.log
-rw-r--r-- 1 root root 291M 2010-07-15 /usr/local/resource.tar.gz
-rw-r--r-- 1 root root 454M 12-03 20:29 /usr/local/resin/logs/access.log
-rw------- 1 root root 362M 12-03 20:25 /var/log/messages
-rw-r--r-- 1 root root 8.2G 12-02 23:59 /home/adlogs/adrequest.log.2011-12-02
-rw-r--r-- 1 root root 7.6G 12-03 20:29 /home/adlogs/adrequest.log
-rw-r--r-- 1 root root 8.1G 12-01 23:59 /home/adlogs/adrequest.log.2011-12-01
-rw-r--r-- 1 root root 405M 12-02 00:10 /home/adlogs_backup/adrequest.log.2011-12-01.tar.gz
-rw-r--r-- 1 root root 406M 12-03 00:09 /home/adlogs_backup/adrequest.log.2011-12-02.tar.gz








一、故障表现。首先一个应用或系统不正常，会表现在：1、前端应用/网页显示不正常，出错5XX，4XX或其他错误信息或慢或出不来；2、当前端端...
Lsof 看open file 被删除的： 13g 的日志放在/usr/local/nginx/logs下面； 在/ 上；
 
[root@166-88 /]# lsof |grep -i del
。。。
nginx      5219      root  DEL       REG                0,9             18446744073202310822 /dev/zero
nginx      5219      root    3w      REG              253,0 13127866257              2719794 /usr/local/nginx/logs/error.log (deleted)
nginx     24661      root    3w      REG              253,0 13127866257              2719794 /usr/local/nginx/logs/error.log (deleted)
         可以看到open file ，被删除了，但是空间没有释放；
         重启nginx
[root@SZT-AD-AFV-166-88 /]# service nginx stop; service nginx start
Stopping nginx...
 
查看某个应用软件打开的日志：如查看mq打开的日志，ps –ef|grep mq，找出pid为18787，然后 lsof –p 18787|grep log
[root@DB-241 bin]# ps -ef|grep mq
root     10686 10441  0 16:14 pts/1    00:00:00 grep mq
root     18787     1  0 Oct20 ?        00:13:07 /usr/local/jdk/bin/java -Xms2048M -Xmx2048M -Dorg.apache.activemq.UseDedicatedTaskRunner=true -Djava.util.logging.config.file=logging.properties -Dcom.sun.management.jmxremote -Dactivemq.classpath=/usr/local/activemq-5.4.1/conf; -Dactivemq.home=/usr/local/activemq-5.4.1 -Dactivemq.base=/usr/local/activemq-5.4.1 -jar /usr/local/activemq-5.4.1/bin/run.jar start
[root@DB-241 bin]# lsof –p 18787|grep log
 
verify：--10次循环（每个挂载点写入100M的文件100次）
verify:
for i in 0 1 2 3 4 5 6 7 8 9 10
do
dd if=/dev/zero of=/home/service/$i/test.log bs=1048576 count=100
done
 
 
查看并升级DELL R510的Broadcom网卡驱动（网卡驱动有缺陷）：
#!/bin/sh
#Checking network interface driver.
 
DRIVER_VER=`modinfo bnx2 | grep '\bversion' | awk '{print $2}'`
KERNEL=`modinfo bnx2 | grep filename | awk -F'/' '{print $4}'`
 
if [ $DRIVER_VER == "2.0.8e" ]
        then
                depmod -a && modprobe bnx2
                echo "Network interface driver was installed. It works well now." >> /root/check_net_driver.log
        else
            if [ $KERNEL == "2.6.18-164.el5" ]
                then
                    rpm -Uvh http://www.5iops.com/rhel_5.4_repo/5iops/netxtreme2-5.2.55-2.x86_64.rpm
                    depmod -a && modprobe bnx2 && echo "netxtreme2 installed"
            fi
            if [ $KERNEL == "2.6.18-164.el5 xen" ]
                then
                    rpm -Uvh http://www.5iops.com/rhel_5.4_repo/5iops/netxtreme2- xen-5.2.55-2.x86_64.rpm
                    depmod -a && modprobe bnx2 && echo "netxtreme2-xen installed"
            fi
fi
 
查一系列文件中的行数：如查看所有rpc_error*.log文件中的错误数
for file in `ls rpc_error*.log`; do echo $file; grep -c recommend $file; done
rpc_error_20111122.log          91190
rpc_error_20111123.log          88909
rpc_error_20111124.log          110018
rpc_error_20111125.log          134591
rpc_error_20111126.log          221625
rpc_error_20111127.log          237515
rpc_error_20111128.log          156007
rpc_error_20111129.log          192667
rpc_error_20111130.log          182664
rpc_error_20111201.log          117474
rpc_error_20111202.log          170258
 
 
调试进程：
strace –p pid
 
pstree|grep net
grep ^read abc.log
一、故障表现。首先一个应用或系统不正常，会表现在：1、前端应用/网页显示不正常，出错5XX，4XX或其他错误信息或慢或出不来；2、当前端端...
四、长期而坚持要做的：
1、  好用的运维平台。完善的运维 架构及说明文档；
2、  全面、及时、准确的监控系统或平台。最好有专门的运维工具开发团队（2-3人），专门负责小工具开发。
3、  变更管理。每一次修改及变更都有记录，操作步骤在执行前有人REVIEW（评估、复查）；
4、  故障管理。每一次问题或故障都要设法找到根本原因。如果短时间找不到，要启用及时发现该问题的能力并绕过（如设定健康检测脚本重启服务）。故障与BUG均需要分级管理【P0~P4】。
5、  备份体系。不仅要有本地备份（应用与数据），而且还要有异地备份。任何情况下要做到即使系统全部破坏，我们还可以重建出来。
6、  容量规划。及时发现潜在或即将到来的瓶颈。
7、   架构设计并持续优化。设法排除单点，多机布署及负载均衡。架构的优化是长期的结果，也是最可以省成本的地方。
8、  人员的管理与培训。分享无时无处不在。




 
KISSING_hu
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux系统故障排查和修复技巧
qq_40907977的博客
08-18 3141
（一）单用户模式 Linux系统提供了单用户模式(类似Windows安全模式)，可以在最小环境中进行系统维护。在单用户模式(运行级别1)中，Linux引导进入根shell，网络被禁用，只有少数进程运行。单用户模式可以用来修改文件系统损坏、还原配置文件、移动用户数据等。 以下列举了几个单用户模式修复系统故障的典型案例： 案例一：root密码忘记 在单用户模式中，Linux不需要root密码(Red Hat系统不需要root密码，但SuSe则需要，不同Linux系统稍有差别，本文以Fedora Core 6为例
Linux操作系统过程及排障
sukapulai的博客
02-28 719
Linux操作系统引导过程 引导过程详解 linux引导过程一般包括以下几个阶段： 开机自检 、 MBR 引导 、GRUB 菜单 、加载Linux内核 、 init 进程初始化 。 1.开机自检（BIOS） ：服务器主机开机以后，将根据主板 BIOS 中的设置对 CPU（Central Processing Unit， 中央处理器）、内存、显卡、键盘等设备进行初步检测，检测成功后根据预设的启动顺序移 交系统控制权，大多时候会移交给本机硬盘。（检测硬件活着启动项是否有故障） 2.MBR引导：当从本
全网火爆，软件测试Linux排障详细教程，吐血整理
m0_70102063的博客
05-18 316
一、前言 二、Linux性能工具好用吗? 三、如何处理针对Linux服务器的恶意软件攻击? 四、是什么导致服务器连接失败，我该如何解决这个问题? 五、我的SSH服务器经常断开连接，要怎么办? 六、服务器无法正常启动，采用的老方法不适用了 一、前言 Linux排障技巧在数据中心十分受人重视。数据中心专家对此提供了一些Linux服务器排障相关的性能问题、优化和便利工具参考 学会这5招，让Linux排障更简单
linux排障
jj1130050965的博客
04-29 407
线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。 同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是df、free、top 三连，然后依次jstack、jmap伺候，具体问题具体分析即可。 CPU 一般来讲我们首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。 原因包括业务逻辑问题(死循环)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的
Linux操作系统引导过程及排障详解
2302_76410765的博客
04-10 204
内核初始化在initramfs中找到驱动程序的所有硬件，然后作为PID 1从initramfis 执行/sbin/init ，CentOS 7中将其复制为systemd, systemd 启动initrd.target中所有单元，并挂载根文件系统/sysroot,内核与文件系统由内存文件系统切换至系统根文件系统， 井重新运行/sysroot systemd. systemd 启动默认tagt (图形或者字符终端)，最后等待用户进行登录。init进程是系统中第一个进程，是所有进程的父进程；
DevOps故障排除+linux服务器运维最佳实践
09-06
大量排障实战经验，在Devops组织里，每个成员都需要负责一部分故障排除，可以借鉴此文档
Linux服务器安装EPS(agent)数据库审计相关文件.rar
02-14
【标题】"Linux服务器安装EPS(agent)数据库审计相关文件"涉及的是在Linux环境中安装和配置EPS（可能...在实际操作中，还需要遵循最佳实践，如备份现有配置、更新系统和软件、定期检查日志等，以保证系统的稳定和安全。
阿里云专家服务
01-21
阿里云专家服务团队作为阿里云服务体系的重要组成部分，致力于为全球企业提供专业的云计算产品最佳实践和技术支持。该团队的主要职责包括但不限于云产品专家服务支持、IT战略规划咨询、应用架构与中间件咨询、上云...
W3C中文文档.zip
03-18
**W3C中文文档概述** W3C，全称为World Wide Web Consortium，是万维网联盟，一个负责制定互联网标准的国际组织。...通过深入学习并实践这些知识，你将能够创建符合最佳实践、易于维护且具有高度互动性的网页应用。
初级运维工程师的主要职责.pdf
06-08
8. **安全意识**：运维工程师必须具备高度的安全意识，确保在处理敏感数据和系统时，遵循最佳实践，避免潜在的安全风险。 总结起来，初级运维工程师的工作涵盖了系统监控、故障响应、服务器管理、自动化工具的运用...
linux 排错
10-24
讲述如何排除linux错误
Linux系统排查
purisuit_knowledge的专栏
07-02 217
转载自：http://www.cnblogs.com/Security-Darren/p/4685629.html
搞它！！！Linux——引导、排障及修复
weixin_47219935的博客
07-05 254
文章目录一、引导过程1、 Init进程2、init运行级别所对应的Systemd目标二、排除启动类故障1、修复MBR 扇区故障2、修复GRUB引导故障三、服务控制及切换运行级别1、系统服务控制2、Linux系统的运行级别 一、引导过程 引导过程总览 开机自检：1、加电，运行硬件自检 2、加载驱动 MBR引导：引导程序，加载硬盘（如是双系统，系统一定要放在不同的硬盘中） GRUB菜单：加载系统（引导系统的必要菜单）、安全模式，急救模式 加载内核（kernel）：（系统的心脏）确定好系统后加载系统的内核 In
系统排障
weixin_34248849的博客
09-03 274
现象：金品四子星一个节点总是重启，查看硬件告警（EDACsbridge:lostmemoryerrors），×××的电源灯一直在不间断的闪烁。对策&思路：重启系统，发现内存报错信息同；df-h发现/dev/mapper/pve-root已用100%;ncdu-x/（前提你的系统必须事先得安装上ncdu）,/var/log/文件过大；初步定为：判断硬件损坏（内存）报错信...
服务器排障(Linux,Windows)
最新发布
weixin_42795092的博客
04-25 1539
一．计算机的启动流程二．系统服务三．运行级别四．运行级别被修改五．Root密码被遗忘六．设置Grub密码七．设置bios密码对计算机的硬件进行检测，正常后，按照cmos里的设置搜索处于活动状态的引导设备（一般为硬盘、U盘、光盘、软盘等）。MBR：boot loader（启动加载程序） 分区表信息 模数（1）提供系统选择列表（2）加载处在硬盘上分区上的次引导程序，并将处在活动分区的次引导程序加载到内存中。（boot loader属于次引导程序，针对双系统，linux的加载程序grub2）。li
Linux——引导、排障及修复
ML908的博客
11-14 294
引导过程 排除启动类故障 服务控制及切换运行级别 优化启动过程 引导过程 引导过程总览 开机自检：1、加电，运行硬件自检 2、加载驱动 MBR引导：引导程序，加载硬盘（如是双系统，系统一定要放在不同的硬盘中） GRUB菜单：加载系统（引导系统的必要菜单）、安全模式，急救模式 加载内核（kernel）：（系统的心脏）确定好系统后加载系统的内核 Init进程初始化：全部还原默认设置后系统会进行加载...
(19) 系统排错
qq_41869566的博客
04-25 153
系统排错一、MBR主导分区损坏 1.可覆盖掉虚拟机的主导分区   dd if=/dev/zero of=/dev/vda bs=446 count=1   此时系统将无法正常开机 2.根据虚拟机版本添加光驱（如7.0的系统光驱为7.0版本的镜像） 3.开机模式中选择修复选项  ##注意：光驱启动   进入系统后，打开shell  chroot  /mnt/sysimage   查看boot程序所在...
Linux排错
luntang的专栏
06-23 403
vsftp500错误简单解决方法 cannot change directory:/home/***字串4 ftp服务器连接失败,错误提示:500 OOPS: cannot change directory:/home/*******500 OOPS: child died解决方法: # setsebool ftpd_disable_trans 1 # service vs
Linux中引导过程与服务控制、排障演示（超详细图解）
zhangyuebk的博客
02-06 426
1.CentOS 引导过程管理 系统引导是操作系统运行的开始，在用户能够正常登录到系统之前，Linux 的引导过程完成了一系列的初始化任务，并加载必要的程序和命令终端，为用户登录做好准备。 1.1引导过程 1.1.1 引导过程总览 Linux 操作系统的引导过程一般包括以下几个阶段：开机自检、MBR引导、GRUB菜单、加载Linux 内核、init 进程初始化。 1）开机自检 服务器主机开机以后，将根据主板BIOS中（Basic Input/Ourput System）的设置对CPU、内存、显卡、键盘等设备
红旗Linux系统维护与排障指南
"红旗Linux系统维护与排障涵盖了系统管理...红旗Linux系统的维护与排障涉及到多个层面，包括硬件驱动、网络连接、用户环境和系统服务。理解并熟练掌握这些知识将有助于有效地管理和维护红旗Linux系统，确保其稳定运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值