Java 实现MySQL数据库插入1000万条数据

Java 实现MySQL数据库插入1000万条数据

针对某些特殊测试，需要添加大量数据，且这些测试具有一定的规律性，可以按照以下的sql脚本循环添加，可以是1000条，也可以是一百万条。

Java实现

准备表一张

   CREATE TABLE `test` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL COMMENT '商品名',
  `price` decimal(8,2) DEFAULT NULL COMMENT '价格',
  PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='商品表';

配置依赖。

      <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
 
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>

代码实现

public class InsertTest {
 
    public static void main(String[] args) throws ClassNotFoundException, SQLException {
        final String url = "jdbc:mysql://localhost:3306/blog?characterEncoding=UTF-8&serverTimezone=UTC";
        final String name = "com.mysql.cj.jdbc.Driver";
        final String user = "root"; 
        final String password = "root";
        Connection conn = null;
        Class.forName(name);//指定连接类型 
        conn = DriverManager.getConnection(url, user, password);//获取连接
        if (conn!=null) {
            System.out.println("获取连接成功");
            insert(conn);
        }else {
            System.out.println("获取连接失败");
        }
 
    }
    public static void insert(Connection conn) {
        // 开始时间
        Long begin = System.currentTimeMillis();
        // sql前缀
        String prefix = "INSERT INTO product(`name`,`price`) VALUES";
        try {
            // 保存sql后缀
            StringBuffer suffix = new StringBuffer();
            // 设置事务为非自动提交
            conn.setAutoCommit(false);
            // 比起st，pst会更好些
            PreparedStatement pst = conn.prepareStatement(" ");//准备执行语句
            // 外层循环，总提交事务次数
            for (int i = 1; i <= 100; i++) {
                suffix = new StringBuffer();
                // 第j次提交步长
                for (int j = 1; j <= 100000; j++) {
                    // 构建SQL后缀
                    suffix.append("(");
                    suffix.append("'"+"小米"+i*j+"',");
                    suffix.append(""+ ran(100) +"");
                    suffix.append("),");
                }
                // 构建完整SQL
                String sql = prefix + suffix.substring(0, suffix.length() - 1);
                // 添加执行SQL
                pst.addBatch(sql);
                // 执行操作
                pst.executeBatch();
                // 提交事务
                conn.commit();
                // 清空上一次添加的数据
                suffix = new StringBuffer();
            }
            // 头等连接
            pst.close();
            conn.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        // 结束时间
        Long end = System.currentTimeMillis();
        // 耗时
        System.out.println("1000万条数据插入花费时间 : " + (end - begin) / 1000 + " s");
        System.out.println("插入完成");
    }
 
 
    //创建一个范围内的随机数
    public static int ran(int x)
    {
        java.util.Random random=new java.util.Random();
        // 返回0 to x的一个随机数但不会取到x，即返回[0,x)闭开区间的值。
        int rn=random.nextInt(x);
        return rn;
    }
}

SQL 存储过程实现

存储过程使用：

1. 创建存储过程
2. 呼叫存储过程
3. 移除存储过程

1. 创建存储过程

创建SQL存储过程需要使用到的语法

• 创建存储过程
  CREATE 存储过程的名称(参数)
  BEGIN
  …需要执行的SQL语句
  END

CREATE PROCEDURE p01 ()
BEGIN
declare i int;
set i=1001;

while i<=2000 do

INSERT INTO css(name,price) VALUES ('张三',i);

set i=i+1;
end WHILE;

END;

2. 呼叫存储过程

• 调用
  CALL 存储过程的名称(参数)

CALL p01();

3. 移除存储过程

DROP PROCEDURE 存储过程的名称(参数)

DROP PROCEDURE p01;

参考文献

参考一:
参考二: