某信息化系统的调优

 

        2009年底的时候给一客户开发了一个小的信息化系统，暂称为CRM，主要用来管理该客户的产品销售，包含的功能有客户管理、订单、财务等模块。由于该客户有自己的OA系统，同时也有源码，希望我们能把CRM整合到他们的协同办公系统，这样用户在登录OA的时候就可以操作CRM，而且该OA也已经整合了另外两个系统，分别是日志填写系统及合同管理系统。由于有源代码，整合起来难度不大，我们把CRM整合到OA里面，跟日志系统、合同系统那样，成为OA的一个子系统，大体结构如下图所示：

 

                                                                             

 

系统运行了一年多，期间虽然有些小修改，但还是维持以上的结构在运行。

从2011年起，该客户发展较快，员工数量大增，使用OA的数据也跟着大增。2011下半年开始，OA就开始出现一些问题：

1、每个月总会有几天工作不正常，这几天是财务人员在导财务报表的日期。

2、有时候会出现JVM Out Of Memory,半年前给系统加了缓存功能之后才开始有这问题。

3、偶尔服务会自动关闭，报“数据库连接自动关闭”的错误。

 

        经过两个多星期的蹲点、调查、探索，对以上三个问题都做了针对性调整措施，终于解决了以上三个问题。

问题一：与客户沟通，得知在月末的时候，财务要出报表，这时候频繁地查询数据、导出报表，导致服务器响应不过来，很多人这里访问，看到的是长时间的等待或者报错页面。财务主要用到集成系统里面的CRM子系统，而其他人用的比较多的就是OA，用来查看信息、提交/审批申请。同时客户也反馈，合同管理系统跟日志系统已停止使用。
针对这种情况，我们决定做应用分离。部署两套OA集成系统，OA1提供OA的功能，OA2提供CRM的功能，OA1通过菜单点击，可转到OA2应用上操作，看起来跟没分离前是一样的（这样做也有不好的地方，比如，在OA2点击“返回”的时候，有时会报“页面失效”）。分离之后，财务人员可通过登录OA1操作CRM，也可以登录OA2来操作CRM。保险起见，OA1和OA2的数据库也做了分离，但是OA2的库通过DBlink的方式，与OA1共用一套组织机构、用户数据。财务在导报表的时候，即使出现问题，也不会影响到使用OA的人。

        由于使用人数大增，所以也建议客户升级了硬件。这样，一台服务器，升级成三台，如下图：

 

                                                                    

 

问题二：CRM项目在半年前加入缓存功能之后，才会出现OME现象。所以怀疑的重点放在缓存功能及缓存组件上。考虑到使用CRM的人虽然分布在各个地方，但总使用人数不多，也就20多人那样，再加上该客户已考虑上新的CRM系统，所以，先采用最简单的方法，把缓存功能关闭，然后观察一个月，没出现过OME现象，所以，这个问题就这样得到处理了。

 

问题三：这个问题有些棘手，看了相关代码，没发现存在错误关闭链接的情况，排查了很多方面，也没发现可疑的地方，这个问题的最终解决，源自于一个巧合。一次在解决问题时，打开安装MSSQL2005的目录，右键看属性，突然发现，该目录总文件大小差不多10G(数据文件没有保存在该目录)，确实可疑，接着一个目录一个目录地检查，到底是那个文件或目录，会占用那么大的空间，最后发现，原来是CRM数据库的日志文件占用了那么多的空间。使用了快两年，日志文件有几个G那么大了，链接自动关闭会不会是日志文件引起的呢？由于没有专门的DBA，我们做了备份，找了一个日志清除工具，把历史日志清除之后，接着进入观察期。从那以后，没出现过自动关闭链接的情况。

 

        系统调优没有最好，只有合适。在这三个问题的解决过程，我没有去研究什么样的解决方法才是最好的，怎样才能做到更好，只是抱着一个想法，尽快合理地解决这些问题，以便客户能够正常使用系统，所以，有些方法可能不是最好的，但实践表明，这些解决方法都带来不错的效果。