数据库如何快速插入百万条数据

数据库如何快速插入百万条数据

①在内存中创建一个表

CREATE TABLE `vote_record_memory` (  
    `id` INT (11) NOT NULL AUTO_INCREMENT,  
    `user_id` VARCHAR (20) NOT NULL,  
    `vote_id` INT (11) NOT NULL,  
    `group_id` INT (11) NOT NULL,  
    `create_time` datetime NOT NULL,  
    PRIMARY KEY (`id`),  
    KEY `index_id` (`user_id`) USING HASH  
) ENGINE = MEMORY AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;

②在数据库中创建一个相同的表

CREATE TABLE `vote_record` (  
    `id` INT (11) NOT NULL AUTO_INCREMENT,  
    `user_id` VARCHAR (20) NOT NULL,  
    `vote_id` INT (11) NOT NULL,  
    `group_id` INT (11) NOT NULL,  
    `create_time` datetime NOT NULL,  
    PRIMARY KEY (`id`),  
    KEY `index_user_id` (`user_id`) USING HASH  
) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;

③由于数据插入较多，将分号【；】分隔符转化【|】

# delimiter是mysql分隔符，在mysql客户端中分隔符默认是分号（；）。
# 如果一次输入的语句较多，并且语句中间有分号，这时需要新指定一个特殊的分隔符。

delimiter |

④在数据库创建触发器

CREATE FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1 
BEGIN   
DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';   
DECLARE return_str varchar(255) DEFAULT '' ;  
DECLARE i INT DEFAULT 0;   
WHILE i < n DO   
SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1));   
SET i = i +1;   
END WHILE;   
RETURN return_str;   
END |

⑤在内存创建触发器

CREATE  PROCEDURE `add_vote_memory`(IN n int)  
BEGIN    
  DECLARE i INT DEFAULT 1;  
    WHILE (i <= n ) DO  
      INSERT into vote_record_memory  (user_id,vote_id,group_id,create_time ) VALUEs (rand_string(20),FLOOR(RAND() * 1000),FLOOR(RAND() * 100) ,now() );  
            set i=i+1;  
    END WHILE;  
END |

⑥ 将分隔符重新转化为分号【；】

delimiter ;

⑦ 向内存插入数据

CALL add_vote_memory(1000000);

⑧ 触发触发器，将内存中的数据转入数据库

INSERT into vote_record SELECT * from  vote_record_memory;