导入四百万行级超大尺寸CSV文件的经验分享

唐骁虎

已于 2023-08-10 10:31:22 修改

阅读量3k

点赞数 1

文章标签：数据库

于 2023-08-10 10:27:40 首次发布

本文链接：https://blog.csdn.net/weixin_50083448/article/details/132202309

版权

由于工作需要需要导入约四百万行的单个CSV文件，该CSV文件解压后1.2G。以下是我尝试的方法记录：

一、Win10下的记事本

用记事本打开，人家直接撂挑子，以前Win7之前的记事本至少还会吭哧吭哧得去认真干活，虽然打开之后记事本也死了。但是win11的记事本可调皮可滑头了，直接说老子干不了，找别人吧。如图：

二、Excel与WPS

Excel与WPS我也没报太大希望，因为以前也用Excel和WPS处理过几十万行的数据，基本就是卡的不能动。

WPS吭哧吭哧干了2分钟，跳出个弹窗，说数据长度超过工作表外，你可能会丢失部分数据。后来补了下基础知识，Excel或WPS一个sheet最多只能有1048576行，105万行不到点，用它们来打开四百万行级别的数据确实为难它们了。打开这105万行也基本处于无法操作的状态，真的是卡的不行。

三、Notepad++

记事本及Excel都不行，想着用Notepad++试试吧，也是不行，人家也是直接撂挑子。这是我没想到，以前也用Notepad++打开过超大尺寸CSV文件过，这次是真没想到它会撂挑子，看来数据量太大，生产队的驴也不想接了。

三、MySQL及一众GUI

MySQL在数据库界算是轻量级的，但是但对于单机版用户来说，这个就是重量级了，用户门槛过高，而且对于普通用户来说还得搭配GUI使用。

（一）Navicat for MySQL

以前用过Navicat，用它导入过一百万级别的数据，没有问题，这次用它来导入四百万级的数据时，就不行了，导入的时候只是在跳秒，进度条没有动静，遂放弃。

（二）HeidiSQL

开源的GUI工具，平时用来管理数据可能还行，导入功能我记得好像是没有的，所以明显不合适，遂放弃。另外，已经停止维护的MySQL-front也是一样的问题，导入功能很欠缺，没啥用。

（三）DBeaver

这个时是事后复盘时，用的工具，当时接到这个任务时，想着Navicat和heidiSQL都寄了就算了吧，当时DBeaver就没试，后来试了一下，果然有惊喜，DBeaver竟然可以，但是也没完全可以，导入到60万行竟然卡着不动了，也许再试一遍就可以了呢，哎！

不过呢，这种专业的工具对于普通用户可能就有难度了，导入CSV的时候要注意在第一页设置好，第一行是否是列名，还有文件的编码格式，默认是UTF-8，我的CSV文件是GB2312。另外，如果没有建立好表结构直接导入的时候，DBeaver会自己判定数据类型，VARCHAR默认长度50，注意要设置好合适的长度，不然导入的时候数据越界会导入不成功的。