公司的一个项目需要搭建一套服务器,服务器部署Tomcat+数据库一套环境。服务器的功能不是很复杂,将获取的请求下发到RabbitMQ(队列,一个开源软件),并将请求插入数据库。有个监听器持续监听RabbitMQ,如果有返回值,就将其插入数据库。在此过程中,会有线程调用服务器的接口查询数据库,直到有结果返回。数据库设计也很简单,只需要一张表格。
一开始考虑到数据量不大,而且需要的表结构不复杂,所以一开始选用的是SQLite轻型数据库。它是一个文件型数据库,数据都保存的一个文件里面,操作简单,效率高。开发测试通过之后,提供给内部用户试用。但很快就发现问题了。用户请求量大的时候会有数据丢失的现象。查询了一些资料,默认状态下,SQLite运行在自动提交模式下,在完成SQL语句的执行后,并没有像标准的JDBC那样直接把数据写入到数据存储文件中。如果在insert操作进行的中途,有一个select操作到来,并且出现异常,就可能导致刚才insert的数据被丢失。本来是考虑在代码里加同步锁来规避这个问题。但经过讨论觉得这样效率太低了,最后决定临时更换数据库。
项目在开发的时候,是将数据库操作写在一个工具类里面的,所以只是修改工具类,其他的代码不用变动,所以很快就改好了。安装MySQL,测试,果然并发问题解决了。但在试用了一段时间之后,出现问题了,数据库连接默认在8小时后自动断开连接,导致了请求操作数据库时报错。一开始,是在数据库连接路径加个autoReconnect=true,让其自动连接,但并没有生效。查询了资料,应该是数据库版本造成的。最后,只能在my.cnf里将interactive_timeout和wait_timeout时间延长,这个问题才算解决了。在试用了一段时间之后,又出现了一个问题,是有关max_allowed_packet ,由于请求返回值过大,MySQL根据配置文件会限制server接受的数据包大小。大的插入和更新会被max_allowed_packet 参数限制掉,导致失败。这个错误,一开始以为很容易解决,就在my.cnf里将max_allowed_packet配置大一点,但是试了以后发现还是报错了。这下就懵了,啥情况,配置的max_allowed_packet没有生效,还是报错。找了好久资料,终于在网上一个旮旯的角落找到了一个和我出现同样的问题的帖子。最后他是将表的存储引擎修改为MyISAM,我试了一下确实是解决了,但是原因,帖子最后还是没有人给出个满意的回答来。
服务器的数据库选择真是一波三折,前前后后花了我近2个月的时间才将这个服务器搞稳定。