ORACLE rac 11.2.0.4 for rhel7.8 upgrade to 19.11.1 报错ORA-29516处理

      近期，在ORACLE rac 11.2.0.4  for rhel7.8  upgrade to 19.11.1过程中，在dbua之前的preupgrade预检查中遇到报到错ORA-29516，相关报错的处理很简单，但是问题的原因和排查不太容易。

      背景：将被升级的环境操作系统为rhel 7.8，Oracle GI版本是19.11.1，DB版本是11.2.0.4，GI和DB都应用过部分PSU补丁。但是，由于人员流动，待被升级的数据库DB的来源不太明确，就是说11.2.0.4是新装的，还是迁移过来及其迁移方式不明确。

      问题描述：待升级系统进行preupgrade检查（即对待升级DB进行preupgrade.jar）时，有ORA报错信息，具体报错信息：select dbms_java.longname('foo') "JAVAVM TESTING" from dual

       *

ERROR at line 1:

ORA-29516: Aurora assertion failure: Assertion failure at jol.c:11157

joez mt-index botch; mt_index = 65535, vtbl_len = 12, static_len = 2

ORA-06512: at "SYS.DBMS_JAVA", line 139

根据oracle MOS官方文档1191471.1提示修改JAVA_JIT_ENABLED参数，但是处理后预检查报错信息依旧。同时，在ORACLE MOS官网提的case也只是让排查jvm的状态，并没有有效的处理方法。然而，前期的手工检查DB的PSU信息是：

ACTION_TIME                    ACTION          NAMESPACE  VERSION                         ID BUNDLE_SERIES   COMMENTS

------------------------------ --------------- ---------- ----------------------- ---------- --------------- ------------------------------------------------------------

17-MAR-17 05.01.00.921809 PM   APPLY           SERVER     11.2.0.4                    160119 PSU           PSU 11.2.0.4.160119

18-OCT-19 09.46.12.556809 PM   APPLY           SERVER     11.2.0.4                    190115 PSU           PSU 11.2.0.4.190115

18-OCT-19 10.33.34.679617 PM   jvmpsu.sql      SERVER     11.2.0.4.190115OJVMPSU           0      RAN jvmpsu.sql

18-OCT-19 10.33.35.069216 PM   APPLY           SERVER     11.2.0.4.180417OJVMPSU           0      OJVM PSU post-install

18-OCT-19 10.33.35.072159 PM   APPLY                                                28790660      Patch 28790660 applied

    ​    问题分析：根据DB应用的补丁分析，DB实例应用了160119和190115的PSU，并且190115中的180417和补丁28790660均会对jvm操作，怀疑可能是190115的PSU补丁应用有问题，计划回退190115。如果要回退190115 PSU补丁集，则需要先回退28790660，回退该补丁需要执行$ORACLE_HOME/sqlpatch/2870660/deinstall.sql，但是发现deinstall.sql所在路径并不存在。对比前期预检查中的opatch lspatches信息发现数据库软件和数据库实例应用的补丁集不一致：

​ $ORACLE_HOME/OPatch/opatch lspatches

29141056;Database Patch Set Update : 11.2.0.4.190416 (29141056)

29141201;OCW Patch Set Update : 11.2.0.4.190416 (29141201)

OPatch succeeded.

到此问题基本明确：问题数据库使用rman备份恢复迁移的并且迁移之前应用190115PSU补丁，但是新环境中的数据库软件并没有按照190115补丁集，而且PSU补丁已经应用到190416。

    ​    问题处理：对问题数据库，在数据库软件层次应用190115补丁，再次进行11.2.0.4 rac for rhel7.8升级到19c rac的preupgrade.jar时，不再有ORA-29516信息提示，并且成功升级至19.11.1。