java mysql sqlload_Java调用SqlLoader将大文本数据导入数据库

项目描述

将一千万条数据，大约500M的文本文档的数据导入到数据库

分析:通过Java的IO流解析txt文本文档，拼接动态sql实现insert入库，可以实现，缺点如下

第一:IO流解析大文本文件对机器性能要求较高，测试大约消耗2G左右的内存

第二:拼接sql语句insert一千万条数据大约需要2小时时间，长时间insert会锁表，如果是核心业务表，例如订单表，会造成大量用户无法下单，影响数据库的性能

第三:这种操作可扩展性不强，每次只能针对指定的表，指定的列操作

针对以上缺点，现在通过接口调用数据库系统命令实现，通过可视化界面，选择要导入的表，要导入那些字段，上传指定的txt文本，会自动生成对应的模板文件，实现大批量数据高效率的导入到数据库，通过可配置化即可实现，相对前一种思路扩展性较强，

运行环境

jdk7+tomcat7+oracle+Eclipse+maven

项目技术(必填)

springboot+SqlLoader