Mysql导出100万条数据，9种导出方法优缺点和速度、文件大小测试

最新推荐文章于 2024-05-10 22:26:18 发布

轻烟飘荡

最新推荐文章于 2024-05-10 22:26:18 发布

阅读量7.4k

点赞数 4

分类专栏： # mysql 文章标签： mysql 数据库 100万条数据导出优缺点

本文链接：https://blog.csdn.net/qq_16519957/article/details/128700212

版权

17 篇文章 2 订阅

订阅专栏

这一次我主要就是想针对mysql导出的速度和文件大小进行优缺点测试，这次主要就是用上之前生成的天气表这是表里面的数据

在这里插入图片描述
导出就用Navicat中的导出向导

点开就会出现10种的导出方法，由于我不需要最后一种方法，所以就不进行测试，每种方法都对应着不同的作用

1.DBase文件

导出100万条，由于是数据库类型文件所以dbf导出后大小非常大，100万条数据有1.741GB，这种格式文件能够最大保证数据库内的数据完整性
在这里插入图片描述

导出txt文件，100万条数据需要9.57秒，文件大小77MB勉强可以接受，也可以直接打开文件对里面的数据进行读取，win10自带软件打开文件超过1分钟，用notepad++打开txt文件就几秒
在这里插入图片描述

导出100万条数据需要9.22秒，文件大小在77.27MB，用notepad++打开几秒就可以显示全部内容

在这里插入图片描述

导出100万条数据需要7秒，文件大小在132MB，打开查看文件也是属于秒开
在这里插入图片描述

浏览器可以很直观看到排列好的数据，体验还是不错

用低版本Excel导出数据100万条需要用15秒，文件是131MB，而且单表最大只能支持65536行数据，如果超出会把你的数据进行拆分，打开读取数据时间也较久
在这里插入图片描述

导出100万条数据需要42秒，文件大小是37MB，打开文件后需要读取数据在10秒，单表支持超过100万条数据不用担心被拆分的情况
在这里插入图片描述

导出整个表的结构和100万条数据，需要18.5秒，文件大小在219MB
在这里插入图片描述

导出需要8秒，文件大小在274MB，导出后可读性和改写性较差
在这里插入图片描述

导出100万条数据，需要9秒，文件在251MB

在这里插入图片描述

可以根据自身的需求选择相应的mysql数据库导出方式，根据不同项目去选择相应的导出方式即可。

导出方式	文件大小	可改写性	数据安全性	导出速度
1.DBase文件	1.741GB	无	高	41秒
2.文本文件	77MB	可以修改和查询数据	中	9.57秒
3.CSV文件	77.27MB	可以修改和查询数据	中	9.22秒
4.HTML文件	132MB	可以查询数据	中	7.04秒
5.Excel数据表低版本(不推荐)	131MB	可以增删改查数据和做可视化	中	15秒
6.Excel文件2007年以后版本	37MB	可以增删改查数据和做可视化	中	42秒
7.SQL脚本文件	219MB	无	高	18.5秒
8.XML文件	274MB	可读性和改写性较差	高	8秒
9.JSON文件	251MB	可读性和改写性较差	高	9秒