记录一点OS问题诊断

最新推荐文章于 2023-02-21 10:46:03 发布
最新推荐文章于 2023-02-21 10:46:03 发布
阅读量1.3k 收藏
点赞数
分类专栏： Operation System
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dbcrocodile/article/details/9255871
版权
1、CPU的使用情况
Vmstat:可以查看到CPU的使用总体情况，以及r队列，b队列
sar：可以查看user、system、iowait、Network分别所消耗的CPU百分比
top/topas/glance：查看load average、最消耗CPU资源的进程TOP，看到哪个进程最消耗资源，就抓住它挖下去了
nmon/osw：收集历史以来的备类性能指标，当然包括有CPU啦

2、memory使用情况
查看内存的使用情况，例如：vmstat/ps -aux|head/svmon
查看内存分段情况，例如：ipcs -a
查看交换区的活动情况，例如：free/meminfo
查看系统中可用内存的数量 例如：more /proc/meminfo

3、IO待待与响应情况
IO的负载情况、Hdisk的平均响应时间、队列长度、繁忙程度、热点磁盘、wio值，如：iostat/vmstat/sar -d

4、network使用情况
丢包率、BUFFER OVERFLOW、流量大小，例如：netstat/topas/glance/第三方工具

5、取当前数据与取历史数据的常用方法
当前数据：在操作系统上使用性能监控命令
取历史数据：nmon/osw，自己编写性能收集脚本，其它第三方工具
job历史执行记录查询 oracle_Oracle诊断案例-Job任务停止执行
weixin_39799646的博客
12-22 475
Oracle诊断案例-Job任务停止执行昨天接到研发人员报告，数据库定时任务未正常执行，导致某些操作失败。开始介入处理该事故.系统环境:SunOS DB 5.8 Generic_108528-21 sun4u sparc SUNW,Ultra-4Oracle9i Enterprise Edition Release 9.2.0.3.0 - Production1.首先介入检查数据库任务$ sqlp...
数据库项目组日常运维及应急故障处理手册.docx
12-03
常见问题及处理方案 CPU使用率高的问题 通过操作系统命令top topas glance等查看top进程号，确认是系统进程还是oracle应用进程，查询当前top进程执行的操作和sql语句进行分析。 根据进程号获取正在执行的sql SELECT a.osuser, a.username,b.address,b.hash_value, b.sql_text from v$session a, v$sqltext b, v$process p where p.spid = &spid and p.addr = a.paddr and a.STATUS = 'ACTIVE' and a.sql_address =b.address order by address, piece; 数据库无法连接 数据库无法连接，一般可能是如下原因造成： （1）数据库宕了 （2）监听异常 （3）数据库挂起 （4）归档目录满 （5）数据库或应用主机的网卡出现问题不能正常工作 （6）应用主机到数据库主机的网络出现问题。 1、数据库宕了 立即启动数据库。 Startup 2、监听异常 此时一般体现为： 监听进程占用CPU资源大；d 监听日志异常。 此时，立即重启监听，监听重启一般能在1分钟之内完成。 Lsnrctl restart 3、数据库挂起 立即重启数据库。 Startup 4、归档目录满 （1）在没有部署OGG数据同步的情况下，立即清理归档日志文件。 （2）如果部署了OGG数据同步，查看OGG正在读取的归档日志文件，立即 清理OGG不再需要的日志文件。 5、数据库或应用主机的网卡出现问题不能正常工作。 立即联系主机工程师处理。 6、应用主机到数据库主机的网络出现问题。 立即联系网络维护人员查看。 CRS/GI无法启动 对于10g及11gR1版本的CRS问题 1、进入/tmp目录下，看是否产生了crsctl.xxxxx文件 如果有的话，看文件内容，一般会提示OCR无法访问，或者心跳IP无法 正常绑定等信息。 2、如果/tmp目录下没有crsctl.xxxxx文件 此时查看ocssd.log文件，看是否能从中得到有价值的信息。 可能的问题：网络心跳不通。 3、/tmp目录无crsctl.xxxxx且日志中没有报错信息，只有停CRS时的日志信 息。 此时可能是RAC两个节点对并发裸设备的访问有问题，此时考虑： （1）停掉两个节点的CRS。 （2）两个节点先同时去激活并发VG，然后再激活VG。 （3）重新启动CRS。 对于11gR2的GI问题 分析$GRID_HOME/log/nodename目录下的日志文件，看是否能从中找出无法启动的原因。 常见问题： 1、心跳IP不同。 2、ASM实例无法启动。 对CRS的故障诊断和分析,参加本文档中RAC部分的MOS文档. 数据库响应慢 应急处理步骤： （1）找到占用CPU资源大的sql或者模块，然后停掉此应用模块。 （2）如果属于由于种种原因引起的数据库hang住情况，立即重启数据 库，此时重启需要约15分钟时间。 重要说明： 如果重启数据库的话，会有如下负面影响： （1）要kill掉所有连接到数据库中的会话，所有会话都会回滚。 （2）立即重启的话，不能获取并保留分析数据库挂起原因的信息，在后续分析问题时，没有足够信息用于分析问题产生的根本原因。 一般正常重启的话，都需要手动获取用于分析数据库重启原因的信息，以便编写分析报告，但是在最长情况下，获取日志信息可能就要40分钟时间。此时一般做systemstate dump，且如果是rac情况的话，需要2个节点都做，且需要做2次或以上。 常规处理步骤，分如下几种情况处理： （1）所有业务模块都慢。 （2）部分业务模块慢。 （3）数据库hang住。 所有业务模块都慢 此时首先查看系统资源，看是否属于CPU资源使用率100%的问题，如果是，参考本章“CPU使用率高的问题”解决办法。如果系统资源正常，那很可能是数据库hang住了，此时参考数据库Hang部分。 部分业务模块慢 分析运行慢的模块的sql语句： （1）看是否是新上的sql。 （2）看执行计划是否高效。 （3）优化运行慢的模块的sql语句。 数据库hang住 应急处理方式：重启数据库。 常规处理方式： （1）分析alert日志，看是否能从alert日志中，可以很快找到引起问题的原 因。 （2）做3级别的hanganalyze，先做一次，然后隔一分钟以后再做一次。 并分析hanganalyze 生成的trace文件，看是否可以找到引起数据库hang 住的会话的信息。 （3）做systemstate dump 此时生成systemstate dump的时间会比较长，尤其是在会话数量较多的情 况下。且生成dump文件的大小较大，在G级别以上。在生成一次以 后，过一分钟再收集一次，另外如果是RAC，那么两个节点都需要收 集。 对hang做dump请参考“对数据库HANG做DUMP一章”。 数据误删除 此问题，没有应急办法，只能按如下步骤处理： 1、对于10g及以上版本，看是否可以通过闪回进行恢复。 2、查看测试环境数据库，看其中是否有需要的数据。 3、使用备份进行恢复，此方法一般花费时间较长。 快速shutdown数据库 1. 停止监听 2. 做一个检查点操作 SQL> alter system checkpoint; 3. 杀掉所有LOCAL=NO的操作系统进程 AIX、HP-UX、Linux、Solaris： $ ps -ef|grep $ORACLE_SID| grep LOCAL=NO | grep -v grep |awk '{print $2}'|xargs -i kill -9 {} Windows： SQL> select 'orakill ' || (select value from v$parameter where name = 'instance_name') || ' ' ||p.spid from v$process p, v$bgprocess bp where p.ADDR = bp.PADDR(+) and bp.PADDR is null and p.SPID is not null; 在命令行执行： C:\> orakill db1 7642 C:\> orakill db1 7644 4. 停止数据库 SQL> shutdown immediate 清理分布式事务 -- 9i需要设置_sum_debug_mode SQL> alter session set "_smu_debug_mode" = 4; alter session set nls_date_format='YYYY-MM-DD HH24:MI:SS'; column local_trna_id format a20 column global_tran_id format a25 SELECT LOCAL_TRAN_ID, GLOBAL_TRAN_ID, FAIL_TIME,STATE, MIXED FROM DBA_2PC_PENDING; LOCAL_TRAN_ID GLOBAL_TRAN_ID FAIL_TIME STATE MIX -------------- ------------------------- -------------------- ---------------- --- 12.29.103137 TAXIS.9572b613.12.29.103137 30-aug-2011 10:09:11 collecting no SQL> commit force '12.29.103137'; Commit complete. SQL> EXECUTE DBMS_TRANSACTION.PURGE_LOST_DB_ENTRY('12.29.103137'); PL/SQL procedure successfully completed. SQL> commit; -- 清理每个分布式事务都需要commit; 数据泵 1. 相关参数 PARALLEL参数考虑 可以设置成物理CPU（不是逻辑CPU）数的两倍数目，然后调整 对于Data Pump Export，PARALLEL参数必须要小于等于dump files数 对于Data Pump Import，PARALLEL不要比dump文件数大很多，可以大一些。这个参数也指定了导入时创建索引的并行度。 PARALLEL只允许在企业版使用。 nohup expdp system/manager schemas=kdjm DIRECTORY=DUMP_FILES PARALLEL=3 dumpfile=expCASES_%U.dmp logfile=nnsiexp2008_12_28.log & 通配符 %U,它指示文件将按需要创建,格式将为expCASES_nn.dmp,其中nn 从 01 开始,然后按需要向上增加 相关监控 -- 监控长事务 set linesize 120 column opname heading 'Operation' format a25 column target heading 'Target' format a15 column pct heading 'Percent' format 999 column es heading 'Elapsed|Seconds' format 999999 column tr heading 'Time|Remaining|Seconds' format 99999 column program format a30 column machine format a16 select L.sid ssid, substr(opname,1,25) opname, target, trunc((sofar/totalwork)*100) pct, to_char(60*sofar*8192/(24*60*(last_update_time-start_time))/1024/1024/60, '9999.0') Rate, round(elapsed_seconds/60, 2) es, round(time_remaining/60, 2) tr, program, machine from v$session_longops L, v$session s where time_remaining > 0 and l.sid = s.sid order by start_time; 坏块恢复 在遇到坏块的时，一般应按以下的流程来处理： 1 如果坏块的对象是索引，重建索引 2 使用备份来进行恢复 3 使用10231事件，或者DBMS_REPAIR.SKIP_CORRUPT_BLOCKS过程，让oracle跳过坏块，然后用exp导出表和使用CREATE TABLE AS创建新表。 4 尝试使用SQL脚本将完好的数据复制到一个新表中，或者用EXP配合QUERY参数导出完好的数据。 5 手工修改坏块。 有两种情况是不能使用事件10231和DBMS_REPAIR.SKIP_CORRUPT_BLOCKS来跳过坏块的： 1 硬件问题造成OS层不能读取数据。 2 表中的非数据块，或者说是元数据块。比如段头，Extent Map块。这种坏块是不能跳过的。 3 在表中存在有其他异常的块，从单个块来看都没有损坏，checksum值也是正确的，但是有的块在段内却是有问题的。比
oceanbase部署--使用OBD自动化部署单节点集群
njj54188的博客
02-10 560
使用OBD自动化部署单节点集群
glance, top和ps察看进程内存数据之间的关系及计算
05-03
glance, top和ps察看进程内存数据之间的关系及计算
[linux]查看性能的命令（top和glance）的详解
mytender123的博客
02-13 6534
liunx查看性能的命令（top和glance）的详解 linux的top命令 top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。 在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运
top(topas),vmstat,iostat在linux和AIX操作系统下显示情况
专注Oracle EBS---低调的奢华
08-09 7051
详细列出各命令常用参数，在自己的虚拟机上实验，要求把每行没列的信息解释清楚，还有不同操作系统平台下命令的不同之处。比如linux和AIX下top命令输出的不同等。 Top （linux系统下） top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。 Up：系统运行时间 Load average：系统负载，即任务队
线上问题诊断指南
最新发布
zhangweiocp的专栏
02-21 1098
线上问题诊断指南
性能问题诊断与修复
![python库文件学习之profile]...# 1. 性能问题诊断与修复基础概念 性能问题在IT行业中是一个长久而普遍存在的挑战。有效的性能诊断与修复不仅需要对问题有一个清晰的认识，
HDFS权限问题诊断与解决：写入数据时的关键步骤
[HDFS权限问题诊断与解决：写入数据时的关键步骤](https://df6asyv2kv4zi.cloudfront.net/hdfs-user-commands-archive-checknative-and-classpath/images/bigdata_2.PNG) # 1. HDFS权限问题概述 Hadoop Distributed...
电子健康记录的安全性和隐私性问题与挑战
埃及信息学杂志22（2021）177审查电子健康记录的安全性和隐私性：问题和挑战Ismail Keshtaa，Israel，Ammar Odehba沙特阿拉伯利雅得AlMaarefa大学应用科学学院计算机科学和信息系统系b约旦安曼苏马亚公主技术大学...
glance 命令选项
04-09
介绍HP-UX下glance监控软件的命令
concureent.futures问题诊断与故障排除：Python并发编程的全面解析
!...# 1. Python并发编程概述 在当今的软件开发中，随着多核处理器的普及和互联网应用需求的不断增长，对并发编程的需求也日益迫切。Python作为一种广泛使用的高级编程语言，提供了多种并发编程的工具，以帮助开发者...
oracle日常运维及应急故障处理手册
Vic的博客
10-06 2万+
常见问题及处理方案 CPU使用率高的问题 通过操作系统命令toptopas glance等查看top进程号，确认是系统进程还是oracle应用进程，查询当前top进程执行的操作和sql语句进行分析。   根据进程号获取正在执行的sql   SELECT a.osuser, a.username,b.address,b.hash_value, b.sql_text fromv$sessi
IOSTAT中关于%util，svctm存在的陷阱及解决办法
热门推荐
老代——Oracle不仅是工作，更是兴趣
08-06 2万+
在写瓶颈确认之IO瓶颈确认之第一篇这篇博客以前，自认为对IO情况确认还是没问题的。 在写博客时，对以前理解并不确切的地方进行了深入了解。 在经过理解后，发现之前并不是不确切，而是有部分理解错误的地方，现在特意在上一篇的基础上整改一篇出来，而不是进行直接在原基础修改，就是希望可以给大家提个醒，也给自己提个醒。 Device: rrqm/s wrqm/s r/s
rlwrap安装报错 You need the GNU readline library(ftp://ftp.gnu.org/gnu/readline/ ) to build this program
老代——Oracle不仅是工作，更是兴趣
05-19 1万+
前言：首先大家肯定知道rlwrap是干什么的，不过我还是重复一下，        在linux以及unix中，sqlplus的上下左右、回退无法使用，会出现乱码情况。    而rlwrap这个软件就是用来解决这个的。如果有不了解的，可以微博私信，或者baidu。：） ===============================================================
UEK(Unbreakable Enterprise Kernel)相关问题（11G RAC for RHEL6.2）"/usr/src/kernels"下面无文件夹
老代——Oracle不仅是工作，更是兴趣
05-07 4748
今日一例 前端时间我根据网上找的一篇文档，安装了11gRAC for RHEL6.2 这篇文档上开篇即为RHEL6.2本身的内核安装oracleRac是很难成功，或者是无法成功，需要更换内核 更换的内核呢，既是UEK。两个包名字为 kernel-uek-2.6.39-300.17.3.el6uek.x86_64 kernel-uek-firmware-2.6.39-300.17.3.el
Error in invoking target 'client_sharedlib' of makefile '/u01/app/oracle/product/10.2.0/db_1/network
老代——Oracle不仅是工作，更是兴趣
04-28 3947
今天一例！ 在昨天下午的时候，收到申请要求搭建10.2.0.1Rac for RHEL5 不限位数，并且要求使用raw模式来搭建 这不小菜一碟么。。我开始装包，配环境变量，改各种参数，改各种限制，配oracle用户的ssh用户等价，解压安装包 开始安装cluster，然后就去吃饭饭了 。。 吃饱喝足回来一看，我X，熟么情况 没事，咱淡定不慌。开始检查，包全着，环境变量没问
瓶颈确认之IO瓶颈确认之第一篇
老代——Oracle不仅是工作，更是兴趣
07-30 3753
申明：个人浅见，如有任何错漏，或者误解，请急速在下方留言，有错必改，并在这里先谢谢指导 ：） 在介绍磁盘 I/O 监控命令前，我们需要了解磁盘 I/O 性能监控的指标，以及每个指标的所揭示的磁盘某方面的性能。 磁盘 I/O 性能监控的指标主要包括： 指标 1：每秒 I/O 数（IOPS 或 tps）     对于磁盘来说，一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁
Oracle RAC问题诊断与常见问题解析
同时，Oracle提供的问题检测工具，如IPD (Oracle Incident Package Diagnostic) 和OS诊断工具，能帮助识别操作系统层面的问题。 测试案例的建立用于复现问题，这对于验证解决方案的有效性至关重要。通过模拟问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值