csv文件批量上传思路（一）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

csv是一种不太常见的文本文件，一般易存储较大的数据量，其文本结构相对简单，便于解析。

一、什么是csv文件？

它是一种通用的、相对简单的纯文本文件格式，被称为逗号分隔值，有时也被称为字符分隔值（分割可以是逗号也可以是其他制表符）；csv文件由任意数目的记录组成，各记录间以某种换行符分割；每条记录由字段组成，字段间的分隔符可以是逗号（为主）也可以是其它，通常每条纪录是由完全相同字段序列组成。（来自百度）
类似于：

二、使用方式

在项目中我用到的是将一个csv文件的大量数据（包含几百万条记录）通过前端方式上传到后端并且读取数据到数据库。
由于csv文件是需要解析的，首先确定解析方式：前端解析还是后端解析？
现有两种思路：
1、前端解析
前端我使用的是vue+element UI
①使用element UI中的upload上传文件组件，需要进行一些文件验证（包括文件类型、文件大小。。。），详细看该组件官网。
②对上传的csv文件进行解析，使用papaparse插件，该插件作用是将csv文件类型数据按行解析成js对象数组。
③将解析完成的数据转化成json字符串的形式传到后端。
④后端接收数据并将数据转化成数组。
⑤后端文件将数组通过原生sql语句插入数据库（php）。

缺点：对于数据量不大的csv文件操作时间相对较快，因为将文件内容变成对象数组形式，上传较快，但是对于数据量较大的文件，请求的数据量较大，容易造成前端浏览器崩溃。
2、后端解析
后端我使用的是tp5框架
①前端还是用element UI中的upload上传文件组件，直接上传文件，当文件较大时可用压缩包形式上传。
②后端打开上传的文件，读取文件流，并利用php自带的fgetcsv文件按行解析文件流，并将数据分块插入数据库。

相对于前端解析来说，该方法更实用，不用担心前端数据并发问题。
缺点是文件较大时数据上传过慢。