mysql大数据的导入导出

平时做导入导出的时候在数据量较小的时候,一般使用工具例如phpmyadmin,稍微大点的数据量的时候,一般采用的是mysqldump和source方式。但是这种导入导出在大数据量面前不堪一击,mysqldump还好,也就十几秒吧,但是source的时候很慢,慢到让人无法接受,本身测试的数据也不算太多,400多万的数据量,source了好像1到2小时是有了。于是乎百度下有没有更加快速的方式来进行导入导出,还真有,为了这种方式是否真的可行,把数据量加大到了1750万。
导出:select * into outfile file_name from table_name;
导入:load data infile file_name replace into table table_name
导出时间:1分2.92秒
导入时间:4分33.92秒
完全是可以接受的时间,当然,这种导入导出还有很多参数可以设置,暂时就不介绍了。

特别说明

1.较小的数据量:也就是几万条数据,几M大小。
2.稍微大点的数据量:几十万条数据,几十M大小。
3.很大的数据量:上千万的数据量,几百M或者几G。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL中,复制大数据量表有多种方式可以实现。以下是一些常见的方法: 1. 使用INSERT INTO SELECT语句: 这是最简单和常见的复制表的方法。您可以使用SELECT语句选择源表中的数据,并使用INSERT INTO语句将其插入到新表中。例如: ```sql INSERT INTO new_table SELECT * FROM old_table; ``` 这会将源表中的所有数据复制到新表中。 2. 使用CREATE TABLE和INSERT INTO语句: 如果您只想复制表结构而不包括数据,可以使用CREATE TABLE语句创建一个新表,并使用INSERT INTO语句插入数据。例如: ```sql CREATE TABLE new_table LIKE old_table; INSERT INTO new_table SELECT * FROM old_table; ``` 这将创建一个与源表结构相同的新表,并将源表的数据插入到新表中。 3. 使用mysqldump命令: mysqldump是一个MySQL提供的用于备份和还原数据库的命令行工具。您可以使用mysqldump导出源表的结构和数据,然后使用mysql命令将其导入到新表中。例如: ```shell mysqldump -u username -p database_name old_table > table_dump.sql mysql -u username -p database_name < table_dump.sql ``` 这将导出原表的结构和数据到table_dump.sql文件中,并将其导入到新表中。 4. 使用ALTER TABLE语句: 如果您只需要复制表结构,并且希望进行一些更改(例如增加或删除列),您可以使用ALTER TABLE语句。例如: ```sql CREATE TABLE new_table LIKE old_table; ALTER TABLE new_table ADD COLUMN new_column INT; ``` 这将创建一个与源表结构相同的新表,并在新表中添加一个新列。 请根据您的需求选择适合的方法来复制大数据量表。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [MySQL中表的复制以及大型数据表的备份教程](https://blog.csdn.net/weixin_32498321/article/details/113235475)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [MySQL大表处理方式、快速复制表结构和数据的方式](https://blog.csdn.net/user2025/article/details/115432905)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Mysql提升大数据表拷贝效率的解决方案](https://download.csdn.net/download/weixin_38635996/13699427)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值