jdbc mysql 缓存_支持连接池与结果集缓存的MySQL数据库JDBC通用框架的轻量级封装(一)...

支持连接池与结果集缓存的MySQL数据库JDBC通用框架的轻量级封装(一)

图1  结构图

一、数据库连接池构建方法

下面介绍了3种方法：

1、通过继承BasePooledObjectFactory类，利用Apache的Commons Pool实现了一个PoolableConnectionFactory类，实现了将JDBC数据库连接Connection对象包裹为一个PooledObject，并且通过create()方法实现创建Connection对象，利用重载passivateObject、destroyObject等方法来控制Connection对象在从连接池取出、到返回连接池、再到最终被销毁的整个生命周期的一些细节。代码片段已给出，如图1所示：

图1

2、通过继承GenericObjectPool类实现一个ConnectionPool类，构造函数中的工厂类参数指向上述所构建的PoolableConnectionFactory对象;

3、提供一个单例模式的管理类ConnectionPoolManager，使得获取到的连接池对象唯一，代码片段已给出，如图2所示：

图2

二、通用方法的封装方式

以下给出了2中封装方式：

1、为了使最终利用该框架进行MySQL数据库开发的开发者在使用该框架时，只需通过简洁配置后，便可透明地使用数据库连接池和结果集缓存特性，需要对JDBC相关方法进行进一步封装，封装采用类装饰器的模式的方式，如建立PoolableConnection类，在构造函数中从连接池中取得一个Connection对象，代码片段已给出，如图3所示：

图3

其他主要的方法与Connection类保持一致，这样可以保证对开发者透明，代码片段已给出，如图4所示：

图4

另外，重点关注点是需要进行装饰的方法，如close()方法，当使用该方法时并不是要关闭Connection对象，而是需要将其返回到连接池中，代码片段已给出，如图5所示：

图5

2、为了实现结果集缓存，需要按上述封装思路，进一步构建如PoolableStatement和PoolablePreparedStatement类，以PoolableStatement类举例，PoolableStatement对象由PoolableConnection类中的createStatement方法产生，但实际的Statement对象是在PoolableStatement类的构造函数中由真正的Connection对象产生的，代码片段已给出，如图6所示：

图6

同样重点关注需要进行装饰的方法，如executeQuery(String sql)方法，当使用该方法时需要先通过sql参数生成key，利用key搜索缓存中是否已经缓存了对应的查询结果集，如果存在，就不需要对数据库进行物理查询，只需要从缓存中返回该结果集;如果不存，再进行物理查询，并对返回结果集创建新的缓存，代码片段已给出，如图7所示：

图7

以此类推，实现execute相关的各类方法，另外需要特别说明的一点是在进行非查询SQL时，当涉及的表格存在于缓存中时，需要锁住缓存，并刷新结果集，刷新策略可以采用立即方式或惰性方式。

三、结果集缓存设计和实现

1.结果集缓存实际是一个ConcurrentHashMap对象，ByteBuffer在JVM堆外空间申请了一片内存存储着被序列化的ResultSet对象，这是一种非常有效的内存利用方式，但需要对MySQL JDBC驱动的源代码进行修改，从而实现ResultSet对象及其内部需要被序列化的复杂对象支持序列化(Serializable)，但是这种序列化是有策略的，为了节省内存空间，也将对ResultSet对象内部无需序列化的对象前添加transient关键字，一个典型的结果集缓存创建，代码片段已给出，如图8所示：

图8

2、接下来需要构建ResultSetCache类，对缓存实现控制方法，典型的包括增加一条缓存、取出一条缓存、清空缓存，当缓存达到容量和条数限制时的策略方法等，增加一条缓存代码片段已给出，如图9所示：

图9

取出一条缓存的参考代码片段已给出，如图10所示：

图10

四、框架的使用

框架使用代码片段已给出，如图11所示：

图11

从使用中可以看到达到了对开发者的框架内部实现细节的透明，开发者几乎不用了解任何数据库连接池和结果集缓存的细节。

五、该框架需要关注的技术细节

以下给出了2种技术细节：

1、ResultSet序列化问题：MySQL JDBC驱动中的ResultSet类以及相关复杂对象都是不支持序列化的，导致无法实现将ResultSet对象保持状态地序列化到一个JVM堆外内存空间中;解决方案是修改MySQL JDBC驱动源代码，对相关对象进行了序列化处理，但目前的处理细致性还不够，需要进一步分析进行精细控制;

2、非查询操作锁缓存问题：为了保持数据库的事务完整性要求，需要在处理非查询操作的SQL执行时锁住缓存，在处理完操作后，删除原来带有脏数据的缓存，并根据策略更新缓存;解决方案是目前在任何非查询操作的SQL执行时都会对整个缓存加锁，且全部查询操作都会等待解锁通知后才可以完成操作，当前的处理比较粗糙，需要进行对被操作表的提取，只对涉及到的表的查询进行锁等待。