关于解决大量数据插入操作的效率问题
需求分析：大量数据插入数据库，如果按照传统的一条一插入，每次插入都会访问数据库，效率大大降低，解决思路是减少client与数据库的交互次数（以空间换时间），提高数据的查询效率。传统对数据库操作如图1所示。
提供方法有以下4个步骤，不提供具体代码，仅仅做思路上的提示。
第一：使用JDBC技术的PreparedStatement来操作sql语句。框架提高了开发效率，相对而言降低了它的运行效率。在进行大批量数据处理，越是接近底层技术的效率越高。PreparedStatement比Statement效率要高，几乎是后者的一倍，statement每次执行sql语句，相关数据库都要执行sql语句的编译，Preparedstatement是预编译得,而且Preparedstatement支持批处理。JDBC操作数据库的方式如图2所示。
第二：控制事务的大小。假设插入数据太多，服务器无法承受压力，而且一旦发生错误，回滚段回滚，所有数据全部插入不成功。设置事务大小为千量级别。
第三：操作进行批处理。设置缓冲区，将大小设以事务的十分之一，将插入数据以集合的形式传送，在插入时候，对集合进行遍历操作
第四：写日志。如果有数据插入不成功，可以将插入失败的数据重新插入数据库。注意，如果失败不是插入一条数据，是那一条
581
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
