如何往数据库快速插入百万条数据

具体逻辑实现:
创建两个表,一个内存表,一个数据表
然后将百万数据先存入内存表,再在内存表数据导入数据表
数据库默认好像只能存13万条数据,更改ini配置
max_heap_table_size = 1024M
前提:关闭mysql服务,在操作,重启
在这里插入图片描述

具体SQL语句:

# 创建内存表
CREATE TABLE `vote_record_memory` (  

    `id` INT (11) NOT NULL AUTO_INCREMENT,  

    `user_id` VARCHAR (20) NOT NULL,  

    `vote_id` INT (11) NOT NULL,  

    `group_id` INT (11) NOT NULL,  

    `create_time` datetime NOT NULL,  

    PRIMARY KEY (`id`),  

    KEY `index_id` (`user_id`) USING HASH  

) ENGINE = MEMORY AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;


# 创建数据写入表
CREATE TABLE `vote_record` (  

    `id` INT (11) NOT NULL AUTO_INCREMENT,  

    `user_id` VARCHAR (20) NOT NULL,  

    `vote_id` INT (11) NOT NULL,  

    `group_id` INT (11) NOT NULL,  

    `create_time` datetime NOT NULL,  

    PRIMARY KEY (`id`),  

    KEY `index_user_id` (`user_id`) USING HASH  

) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;


# 更改SQL语句结束符
delimiter |


# 创建SQL函数,用于生成百万条数据
CREATE FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1  

BEGIN   

DECLARE chars_str varchar(100) DEFAULT 

'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';   

DECLARE return_str varchar(255) DEFAULT '' ;  

DECLARE i INT DEFAULT 0;   

WHILE i < n DO   

SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1));  

 

SET i = i +1;   

END WHILE;   

RETURN return_str;   

END |


# 生成百万条数据至内存表 2min16s
CREATE  PROCEDURE `add_vote_memory`(IN n int)  

BEGIN    

  DECLARE i INT DEFAULT 1;  

    WHILE (i <= n ) DO  

      INSERT into vote_record_memory  (user_id,vote_id,group_id,create_time ) VALUEs 

(rand_string(20),FLOOR(RAND() * 1000),FLOOR(RAND() * 100) ,now() );  

            set i=i+1;  

    END WHILE;  

END |


# 再次将语法结束符改回来
delimiter ;



# 将内存中的百万数据插入数据表 0.37s
CALL add_vote_memory(1000000);

INSERT into vote_record SELECT * from  vote_record_memory; 
  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孜孜孜孜不倦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值