一次 cics 4.2 for AIX region hang 异常(A57A)的经验

问题描述:

5/12 17：30左右 大量前台交易不能进行： 但CICS server console日志中没有出现异常,cicsterm—〉CEMT I TA可以运行，并且偶尔有几个交易能做。前台 cics client 状态表现为available，但这时前台的交易不能正常返回。重新启动cics client ，状态则为connecting.

问题解答:

1． 使用showProcInfo工具，获取了cics的所进程信息。发现cicsip的进程信息和正常情况相差很远： 正常： Waiting to attach to process 49170 ... Successfully attached to cicsip. warning: Directory containing cicsip could not be determined. Apply 'use' command to initialize source path. Type 'help' for help. reading symbolic information ... stopped in evt._pthread_ksleep [/usr/lib/libpthreads.a] at 0xd00e2d4c ($t4) 0xd00e2d4c (_pthread_ksleep+0x9c) 80410014 lwz r2,0x14(r1) thread state-k wchan state-u k-tid mode held scope function $t1 wait 0xe60b32bc blocked 733945 k no sys _pthread_ksleep $t2 wait 0xe60097bc blocked 38679 k no sys _pthread_ksleep $t3 wait 0x32e7c904 running 91099 k no sys _ptrgl >$t4 run blocked 743665 k no sys _pthread_ksleep $t5 wait 0xe601f1bc blocked 127245 k no sys _pthread_ksleep $t6 wait 0xe6030fbc blocked 200545 k no sys _pthread_ksleep $t7 wait 0xe60310bc blocked 200893 k no sys _pthread_ksleep $t8 wait 0xe60b2ebc blocked 732729 k no sys _pthread_ksleep $t9 wait 0xe60b8fbc blocked 757693 k no sys _pthread_ksleep $t10 wait 0xe601ccbc blocked 117939 k no sys _pthread_ksleep $t11 wait 0xe60b67bc blocked 747287 k no sys _pthread_ksleep $t12 wait 0xe60a7bbc blocked 686919 k no sys _pthread_ksleep 异常： Waiting to attach to process 49170 ... Successfully attached to cicsip. warning: Directory containing cicsip could not be determined. Apply 'use' command to initialize source path. Type 'help' for help. reading symbolic information ... stopped in evt._pthread_ksleep [/usr/lib/libpthreads.a] at 0xd00e2d4c ($t4) 0xd00e2d4c (_pthread_ksleep+0x9c) 80410014 lwz r2,0x14(r1) thread state-k wchan state-u k-tid mode held scope function $t1 wait 0xe60b32bc blocked 733945 k no sys _pthread_ksleep $t2 wait 0xe60097bc blocked 38679 k no sys _pthread_ksleep $t3 wait 0x32e7c904 running 91099 k no sys _ptrgl >$t4 run blocked 743665 k no sys _pthread_ksleep $t5 wait 0xf04805f4 running 127245 k no sys pthread_mutex_lock $t6 wait 0xf04805f4 running 200545 k no sys pthread_mutex_lock $t7 wait 0xf04805f4 running 200893 k no sys pthread_mutex_lock $t8 wait 0xf04805f4 running 732729 k no sys pthread_mutex_lock $t9 wait 0xf04805f4 running 757693 k no sys pthread_mutex_lock $t10 wait 0xf04805f4 running 117939 k no sys pthread_mutex_lock $t11 wait 0xf04805f4 running 747287 k no sys pthread_mutex_lock $t12 wait 0xf04805f4 running 686919 k no sys pthread_mutex_lock 通过分析以上信息和现象，发现正常和异常情况的cicsip进程信息区别很大，异常情况下cicsip的很多线程处在pthread_mutex_lock。 2.查看最近的console 日志,从4/29号6138交易连续出现了Abend code 为A57A，导致cicsas异常结束。 例如： ERZ014016E/0036 05/13/04 05:54:10 BCSSCICS : Transaction '6138', Abend 'A57A', at '????'. 并且在symrecs中出现了相关的异常信息。 SYMPTOMS = PIDS/5697D1720 LVLS/420 PTFS/ RIDS/ComIP_IntRecvBytes LINE/-1 MS/057003 MSN/14 SRC/11 PRCS/2097152 AB/A57A PID/42744 TID/1 TIME/040513055410 TAIST SECONDARY SYMPTOMS = PostMortem (Error Path is offset x'128' in ComIP_IntRecvBytes SYMPTOMS = PIDS/5697D1720 LVLS/420 PTFS/@(#)comip, 15:47:27, May 5 2000 RIDS/ComIP_IntRecvBytes LINE/1731 MS/057003 MSN/14 SRC/11 PRCS/99 AB/A57A PID/42744 TID/1 TIME/040513055410 TAIST SECONDARY SYMPTOMS = * * * Internal inconsistency error * * * 分析： 1. 目前系统的版本如下： CICS 4.2.0.8，ENCINA 4.2.0.1。 目前cics 4.2的最高补丁如下： CICS 4.2.0.9，ENCINA 4.2.0.15。 2. 通过和ibm工程师共同分析，如果cicsip的很多线程处在pthread_mutex_lock，这样很可能会导致前台cics client 无法连接到cics server。 3. 如果需要进一步分析导致cicsip的很多线程处在pthread_mutex_lock的原因，则需要寻求IBM 实验室的技术支持。 4. 关于进一步分析A57A的问题，目前对参数进行如下调整： RD: SysDump=yes (原值：no) PCDump=no (原值：yes) ABDump=no (原值：yes) TD: 6138: TransDump=yes （原值：no） LD: 新增 TCPIPL1定义，其中端口号为1438。 如果再次出现A57A时将产生dump信息，从而通过分析交易的dump信息和应用程序的lis文件，来判断问题的原因。

建议：

1． 基于cicsip的分析建议： 由于目前CICS产品的版本为4.2， IBM 实验室已经不再提供该版本的支持服务，所以建议升级到最新版本V5.1。 2． 针对目前cics的性能优化建议： （1） 把比较慢且允许等待的交易分成一类交易，从而使得这些交易不对其他执行时间短而且量大交易造成堵塞的现象。 （2） 由于某些前台的程序没有进行交易分类，所以导致后台使用CPMI交易进行执行，所以建议把CPMI的交易也进行分类。 （3） 调整 RD中MaxConsoleSize参数为一个合适的大小。 3． 需要密切关注应用程序中出现的A57A的问题，因为该问题会导致cicsas异常结束。 4． 目前建议网银的前置机使用1438的端口号，然后再继续观察系统。

[@more@]

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/67233/viewspace-904107/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/67233/viewspace-904107/