mysql插入大量数据的几种方法executeBatch,load data local infile

追寻光的方向

已于 2022-12-15 18:03:13 修改

阅读量4.3k

点赞数 2

文章标签：大数据 java 数据库 mysql

于 2022-06-27 18:08:30 首次发布

本文链接：https://blog.csdn.net/m0_68615056/article/details/125482662

版权

mysql插入数据集合可以循环插入，可以使用jdbc的批处理executeBatch语句，可以使用load data local infile语句插入。

一、循环遍历插入

二、批处理executeBatch语句

三、load data local infile语句

1.生成文件插入

2.采用setLocalInfileInputStream方法，这个方法可以不用生成文件，减少生成文件，往文件写入数据的IO操作

报错问题

反射获取表的所有数据库字段名称

一、循环遍历插入

List<BimXmlLevel> levels=new ArrayList<>();
for (BimXmlLevel level : levels) {
    service.save(level);
}

每个对象每次都会生成一条插入语句 insert into tableName values ()
这种方法只要数据量一多速度会很慢。

二、批处理executeBatch语句

使用prepareStatement预编译语句
使用addBatch，executeBatch批量插入语句

    private static JdbcTemplate jdbcTemplate = SpringContextHolder.getBean(JdbcTemplate.class);

    /**
     * 使用prepareStatement预编译语句
     * 使用addBatch，executeBatch批量插入语句
     * 需要在数据库url连接添加参数rewriteBatchedStatements=true
     * 实现原理就是把多条插入语句变成一条 INSERT INTO tableName(xx) values(xx),(xx),(xx)
     * 提示:sql后面不要加; 不然底层会拼接sql报错
     *
     * @param list
     * @throws Exception
     */
    public static void saveList(List list) throws Exception {
        long start = System.currentTimeMillis();
        Connection connection = jdbcTemplate.getDataSource().getConnection();
        connection.setAutoCommit(false);//不自动commit，一定要设置，不然速度也会很慢
        //通过反射获取表的所有数据库字段名称
        List<String> names = getNames(list.get(0));
        //多少个字段就有多少个?号
        List<String> vs = new ArrayList<>();
        for (int i = 0; i < names.size(); i++) {
            vs.add("?");
        }
        //表名
        String tableName = table(list.get(0));
        //语句
        String sql = "INSERT INTO " + tableName + "(" + StringUtil.join(names, ",") + ") VALUES (" + StringUtil.join(vs, ",") + ")";
        PreparedStatement stmt = connection.prepareStatement(sql);
        for (int j = 0; j < list.size(); j++) {
            Object obj = list.get(j);
            for (int i = 0; i < names.size(); i++) {
                String name = names.get(i);
                Object value = ReflectUtil.invokeGetter(obj, name);
                stmt.setObject(i + 1, value);//设置值
            }
            stmt.addBatch();
        }
        //批量执行
        stmt.executeBatch();
        stmt.clearBatch();
        stmt.close();
        connection.commit();//commit
        connection.close();
        long end = System.currentTimeMillis();
        logger.info("{}数据Batch入库成功：{}条,总耗时：{} ms", tableName, list.size(), end - start);
    }

需要在数据库url连接添加参数rewriteBatchedStatements=true
实现原理就是把多条插入语句变成一条 INSERT INTO tableName(xx) values(xx),(xx),(xx)
提示:sql后面不要加; 不然底层会拼接sql报错