数据库异步写入功能概要设计

在新项目中，我们要求每一个写入数据库的操作不允许直接写入到MYSQL数据库中，防止在大并发情况下数据库的瓶颈出现，解决的思路是凡是有需要更新、插入数据库的需求，必须按规定封装成JSON数据，然后存放到REDIS的队列中，由数据库写入队列监控程序进行监视，发现后串行写入到数据库中。如果JAVA项目有在写入数据库的同时修改缓存的需要，那么自行修改缓存，数据库写入程序不负责修改缓存数据。

 

下面以一个有代表性的写入动作为例，进行说明：

学生表

CREATE TABLE `t_base_student` (
  `ID` int(11) NOT NULL AUTO_INCREMENT COMMENT '学生表主键，自增长',
  `STUDENT_GUID` char(36) DEFAULT NULL COMMENT '学生的GUID编号',
  `STUDENT_NAME` varchar(20) DEFAULT NULL COMMENT '学生姓名',
  `XB` char(2) DEFAULT NULL COMMENT '性别',
  `BYXX` varchar(50) DEFAULT NULL COMMENT '毕业学校',
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8;

插入一条测试数据

INSERT INTO `t_base_student` VALUES ('1', 'bd81eb89-b933-11e3-8d96-7427eab28b71', '黄海', '男', '东北师范大学');

 

家长表

CREATE TABLE `t_base_parent` (
  `PARENT_ID` int(11) NOT NULL AUTO_INCREMENT COMMENT '家长的编号',
  `PARENT_GUID` char(36) DEFAULT NULL COMMENT '家长的GUID号',
  `PARENT_NAME` varchar(255) DEFAULT NULL COMMENT '家长的姓名',
  `STUDENT_ID` int(11) DEFAULT NULL COMMENT '学生号',
  `STUDENT_GUID` char(36) DEFAULT NULL COMMENT '学生GUID号',
  `PARENT_TYPE` int(11) DEFAULT NULL COMMENT '家长的类型',
  PRIMARY KEY (`PARENT_ID`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8;

 插入两条测试数据

INSERT INTO `t_base_parent` VALUES ('1', 'f1af5347-b933-11e3-8d96-7427eab28b71', '黄章', '1', 'bd81eb89-b933-11e3-8d96-7427eab28b71', '1');
INSERT INTO `t_base_parent` VALUES ('2', '0f517382-b934-11e3-8d96-7427eab28b71', '王云', '1', 'bd81eb89-b933-11e3-8d96-7427eab28b71', '2');

 最终确定使用存储过程来解决这个问题：

 

-- 删除存储过程
drop PROCEDURE sp_addstudent;

-- 清空测试数据表
TRUNCATE TABLE a;
TRUNCATE TABLE t_base_parent;
TRUNCATE TABLE t_base_student;

-- 'bd81eb89-b933-11e3-8d96-7427eab28b71','黄海','男','东北师范大学'

CREATE PROCEDURE sp_addstudent (IN V_STUDENT_GUID CHAR (36),IN V_STUDENT_NAME VARCHAR (20),V_XB CHAR (2),V_BYXX VARCHAR (50))
BEGIN

DECLARE v_student_id INT;

START TRANSACTION;
INSERT INTO t_base_student (STUDENT_GUID,STUDENT_NAME,XB,BYXX)VALUES(V_STUDENT_GUID,V_STUDENT_NAME,V_XB,V_BYXX);
SELECT LAST_INSERT_ID() INTO v_student_id;
INSERT INTO a VALUES(v_student_id);
COMMIT;

END;

 

通过lpush命令写入到REDIS缓存中，串行写入数据库系统通过rrange命令读取，执行写入到MYSQL数据库。并执行rpop弹出这个指令。

后期可以考虑使用更加安全的队列形态，比如rpoplpush,可以参考：http://www.cnblogs.com/youxin/p/3585867.html