Mysql导出100万条数据，9种导出方法优缺点和速度、文件大小测试

最新推荐文章于 2024-10-01 22:26:58 发布
最新推荐文章于 2024-10-01 22:26:58 发布
阅读量8.7k 收藏 13
点赞数 5
分类专栏： # mysql 文章标签： mysql 数据库 100万条数据 导出 优缺点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16519957/article/details/128700212
版权

这里写目录标题

这一次我主要就是想针对mysql导出的速度和文件大小进行优缺点测试，这次主要就是用上之前生成的天气表这是表里面的数据

在这里插入图片描述
导出就用Navicat中的导出向导
在这里插入图片描述
点开就会出现10种的导出方法，由于我不需要最后一种方法，所以就不进行测试，每种方法都对应着不同的作用
在这里插入图片描述

1.DBase文件

导出100万条，由于是数据库类型文件所以dbf导出后大小非常大，100万条数据有1.741GB，这种格式文件能够最大保证数据库内的数据完整性
在这里插入图片描述
在这里插入图片描述

2.文本文件

导出txt文件，100万条数据需要9.57秒，文件大小77MB勉强可以接受，也可以直接打开文件对里面的数据进行读取，win10自带软件打开文件超过1分钟，用notepad++打开txt文件就几秒
在这里插入图片描述
在这里插入图片描述

3. CSV文件

导出100万条数据需要9.22秒，文件大小在77.27MB，用notepad++打开几秒就可以显示全部内容

在这里插入图片描述
在这里插入图片描述

4.HTML文件

导出100万条数据需要7秒，文件大小在132MB，打开查看文件也是属于秒开
在这里插入图片描述
在这里插入图片描述
浏览器可以很直观看到排列好的数据，体验还是不错
在这里插入图片描述

5.Excel数据表低版本

用低版本Excel导出数据100万条需要用15秒，文件是131MB，而且单表最大只能支持65536行数据，如果超出会把你的数据进行拆分，打开读取数据时间也较久
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.Excel文件2007年以后版本

导出100万条数据需要42秒，文件大小是37MB，打开文件后需要读取数据在10秒，单表支持超过100万条数据不用担心被拆分的情况
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.SQL脚本文件

导出整个表的结构和100万条数据，需要18.5秒，文件大小在219MB
在这里插入图片描述
在这里插入图片描述

8.XML文件

导出需要8秒，文件大小在274MB，导出后可读性和改写性较差
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

9.JSON文件

导出100万条数据，需要9秒，文件在251MB

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

可以根据自身的需求选择相应的mysql数据库导出方式，根据不同项目去选择相应的导出方式即可。

导出方式文件大小可改写性数据安全性导出速度
1.DBase文件1.741GB无高41秒
2.文本文件77MB可以修改和查询数据中9.57秒
3.CSV文件77.27MB可以修改和查询数据中9.22秒
4.HTML文件132MB可以查询数据中7.04秒
5.Excel数据表低版本(不推荐)131MB可以增删改查数据和做可视化中15秒
6.Excel文件2007年以后版本37MB可以增删改查数据和做可视化中42秒
7.SQL脚本文件219MB无高18.5秒
8.XML文件274MB可读性和改写性较差高8秒
9.JSON文件251MB可读性和改写性较差高9秒
轻烟飘荡
关注
专栏目录
Mysql20万条数据导出_数据仓库：Mysql大量数据快速导出
weixin_39859055的博客
01-20 937
背景写这篇文章主要是介绍一下我做数据仓库ETL同步的过程中遇到的一些有意思的内容和提升程序运行效率的过程。关系型数据库：项目初期：游戏的运营数据比较轻量，相关的运营数据是通过Java后台程序聚合查询关系型数据库MySQL完全可以应付，系统通过定时任务每日统计相关数据，等待运营人员查询即可。项目中后期：随着开服数量增多，玩家数量越来越多，数据库的数据量越来越大，运营后台查询效率越来越低。对于普通的关...
Mysql 大量数据快速导入导出
热门推荐
11-11 7万+
【实验背景】项目中需要对数据库中一张表进行重新设计，
MySQL 大数据量导入与导出全攻略
最新发布
我爱娃哈哈的专栏
10-01 830
处理大数据量的导入和导出是 MySQL 数据库管理中的一个重要任务。通过合理地选择导出和导入方法，以及优化操作过程，可以提高数据处理的效率和可靠性。同时，使用工具如 XtraBackup 可以进行高效的备份和恢复操作。需要注意数据的完整性和一致性，以及对系统资源的合理利用。文章（专栏）将持续更新，欢迎关注公众号：服务端技术精选。。个人小工具程序上线啦，通过公众号（服务端技术精选）菜单【个人工具】即可体验，欢迎大家体验后提出优化意见！500个访问欢迎大家踊跃体验哦~
mysql百万级以上的数据迁移及优化
Alice_qixin的博客
07-14 1642
需求：将旧数据导入新系统，已知旧数据为580万。 由于要做数据迁移工作，已知一个旧表数据为580万条，要导入新库，并且根据新的业务逻辑插入到各个分表， 结果就是要将这580万数据分别插入到近100张表中 在此也作为我自己的一个工作的整理，下面是我整理的整个思路及各个sql语句，包括优化前后的执行速度对比。 一、由于关键字段不在旧表的主表中，所以需要连表查询得到关键的连表字段
MySQL 8.0.11 快速生成百万甚至千万测试数据
vkingnew 的技术博客
07-25 3228
背景需求： 随机生成千万数据用于测试和验证 1.利用现有的生产数据。 统计现有生产环境的数据，若有千万级别数据的表则可以直接利用： SELECT table_schema,table_name,table_rows FROM information_schema.tables WHERE table_rows >10000000; 直接备份还原到测试环境 即可。 2.利用sysb...
SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案！
dream317
04-03 1254
动态数据导出是一般项目都会涉及到的功能。它的实现逻辑就是从mysql查询数据，加载到内存，然后从内存创建excel，以流的形式响应给前端。然而一旦数据量太大，达到百万级，千万级，大规模数据加载到内存必然会引起OOM，那么如何解决呢？
mysql数据库大数据量导入导出多种方法
01-14
mysql数据库大数据量导入导出多种方法，该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法
终于上线使用了：MySQL上面百万数据excel导出功能
资料免费分享，点击名片
09-20 844
但它们都存在一个严重的问题就是：非常耗内存，POI有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。这样导出数据的功能，在第一个job周期内执行不完，在第二次job执行时，查询待处理状态，并不会查询出执行中状态的数据，也就是说不会重复执行。其实，在用户的操作界面，增加更多的查询条件，用户通过修改查询条件，多次导数据，可以实现将所有数据都导出的功能，这样可能更合理一些。
Mysql --学习：大量数据快速导入导出
11-13 527
声明：此文供学习使用，原文：https://blog.csdn.net/xiaobaismiley/article/details/41015783 【实验背景】 项目中需要对数据库中一张表进行重新设计，主要是之前未分区，考虑到数据量大了以后要设计成分区表，同时要对数据库中其他表做好备份恢复的工作。 【实验环境】 　　Mysql版本：mysql-5.6.19 　　操作系统：U...
从MySQL导入导出大量数据的程序实现方法
10-07
大家一定使用过 PHPmyadmin 里面的数据库导入，导出功能，非常方便。但是在实际应用中，我发现如下几个问题： 1 数据库超过一定尺寸，比如6M 这时使用导出一般没问题，可以正确的保存到本机硬盘上面，但是导入则不行！原因是：一般的 PHP.INI 里面设置临时文件/上传文件的大小限制为2M，而phpmyadmin使用了上传的方式，造成失败。 2 导出到硬盘的 .SQL 文件在导回时，经常出现由于某些单引号的问题引起失败，造成导入失败，只能用 MySQL等应用程序导入了。 我的数据库已经超过10M,所以必须解决这个问题。我的思路： 导出： 用phpmyadmin 保存数据库/表格结构，用脚本读取数据库内容并保存到文件里面！ 导入： 用phpmyadmin 恢复数据库/表格结构，用脚本读取文件，然后保存到库里面！ 导出程序如下：调用方法为 ****.php?table=tablename 这个简单的程序目前一次保存一个表格！！每行为一个字段的数据！！
记录一次Mysql大量数据导出
Freshboya的博客
01-12 1051
本次的Mysql导出让我感受到了，知识就是力量！！…… 大量的数据通过Navicat导出在进行导入会花费巨量的时间，本次我导出的sql文件有1G多，我用命令：source XX.sql 运行了一天一夜都没有导完，被迫中止。。。。 人间正道： 数据表数据导出： mysqldump -u用户 -p密码 数据库 表名称> 导出的文件名称.sql mysqldump -uroot -proot voice_data_2021 202110_screen > 202110_screen.sq
百万级数据在Excel和Sql数据库之间相互导入、导出
08-02
百万级数据在Excel和SqlServer之间相互导入导出。
mysql百万级测试数据下载 300W条
05-09
快速地导入300万条数据可以检验备份文件的大小、速度以及恢复数据的完整性和一致性。 4. **数据导入导出效率**：描述中提到使用Navicat工具导入耗时5分钟，这可以作为参考，了解导入大文件的速度。不同工具和方法的...
php导出1万条数据excel_PHP快速导出百万级数据到CSV或者EXCEL文件
weixin_39632212的博客
12-22 854
前言： 很多时候，因为数据统计，我们需要将数据库的数据导出到Excel等文件中，以供数据人员进行查看，如果数据集不大，其实很容易；但是如果对于大数集的导出，将要考虑各种性能的问题，这里以导出数据库一百万条数据为例，导出时间不过20秒，值的学习的一种大数据导出方式。一、导出思路需要考虑服务器内存需要考虑程序运行的最大时间缺少BOM头导致乱码的处理如果导出数量过大，推荐使用循环导出，每次循环这里以导出...
EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据
2401_84181326的博客
04-21 1384
/这里给id起别名innerid是为了防止数据库分不出来这两个id哪个是哪个。System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);
2024年EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据(2)，2024年最新这是一份面向大数据开发开发者的复习指南
2401_84164721的博客
05-05 1128
/这里给id起别名innerid是为了防止数据库分不出来这两个id哪个是哪个。System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);
qt编写mysql导出excel_Qt编写数据导出到Excel及Pdf和打印数据
weixin_35891787的博客
01-27 757
一、前言用Qt开发已经九年了，期间用Qt做过不少的项目，在各种项目中有个功能很常用，尤其是涉及到数据记录存储的项目，那就是需要对查询的数据进行导出到Excel，或者导出到Pdf文件，或者直接打印查询的数据，其中导出数据到Excel最常见，基本上有三种方法。方法一使用QAxObject，小数据量还可以，数据量一大直接懵逼，性能指数级下降，而且不支持跨平台，只能在WIN上玩一玩，对于大量的linux开...
mysql 大批量数据导入导出 load data infile/outfile
chenliup的博客
09-17 328
mysql 大批量数据导入导出 load data infile select outfile
mysql 导出 千万 数据
weixin_29526539的博客
07-29 136
MySQL 导出千万数据的高效方法 MySQL 是一种广泛使用的开源关系数据库管理系统。在处理大规模数据导出时，效率和稳定性显得尤为重要。本文将介绍如何高效地从 MySQL 导出千万级别的数据。 导出数据前的准备 在导出大量数据之前，确保数据库性能和稳定性是关键。以下是一些基本的准备工作： 备份数据库：在进行任何大规模操...
mysql导出单表2000万条数据到txt中
05-27
你可以使用MySQL自带的SELECT INTO OUTFILE语句将单表2000万条数据导出到txt文件中。具体步骤如下： 1. 登录MySQL数据库，并进入要导出的数据库。 2. 执行以下SQL语句，将数据导出到txt文件中： ``` SELECT * INTO OUTFILE '/path/to/file.txt' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM [table_name]; ``` 其中，/path/to/file.txt是要导出的文件路径和文件名，[table_name]是要导出数据的表名。 此外，你还可以根据需要调整FIELDS TERMINATED BY和OPTIONALLY ENCLOSED BY参数，以指定数据的分隔符和数据的引号类型。 导出数据的过程可能需要一定时间，请耐心等待。完成后，你就可以在指定的路径下找到导出的txt文件了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

轻烟飘荡

我想吃甜筒

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值