PHP百万级数据导出方案(多csv文件压缩)

概述:

最近公司项目要求把数据除了页面输出也希望有导出功能,虽然之前也做过几个导出功能,但这次数据量相对比较大,差不多一天数据就20W条,要求导7天或者30天,那么数据量就轻松破百万了甚至破千万,因此开发的过程中发现了一些大数据导出的坑,在此跟大家分享一下,互相学习。

准备:

1、PHP设置坑:
  • set_time_limit – 设置脚本最大执行时间:

此配置一般PHP默认是30秒,如果你是数据小的,可能就不会发现有该设置问题,但如果你数据达到了百万级导出,往往30秒是不够的,因此你需要在你的脚本中添加 set_time_limit(0),让该脚本没有执行时间现在

  • memory_limit – PHP的内存限定:

此配置一般php默认是128M,如果之前做过小数据的朋友可能也会动过这个配置就能解决许多问题,或许有人想,你大数据也把这个调大不就行了吗?那么真的是too young too native了,你本地能设置1G或者无限制或许真的没问题,但是正式场,你这么搞迟早会出事的,一个PHP程序占那么大的内存的空间,如果你叫你公司运维帮忙调一下配置,估计运维一定很不情愿,服务器硬件这么搞也是太奢侈了。所以说,我们要尽量避免调大该设置。

2、excel坑:

既然是导出数据,大伙们当然马上想到了excel格式了࿰

  • 16
    点赞
  • 72
    收藏
    觉得还不错? 一键收藏
  • 30
    评论
以下是使用Spring Boot将数据导出CSV文件并进行压缩的示例: 1. 添加依赖项 在 pom.xml 文件中添加以下依赖项: ```xml <dependency> <groupId>com.opencsv</groupId> <artifactId>opencsv</artifactId> <version>5.5.2</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-compress</artifactId> <version>1.21</version> </dependency> ``` 2. 创建CSV文件 使用 OpenCSV 库创建 CSV 文件。在本例中,我们将使用以下数据作为示例: ```java List<String[]> data = new ArrayList<>(); data.add(new String[]{"Name", "Age", "Email"}); data.add(new String[]{"John", "30", "john@example.com"}); data.add(new String[]{"Jane", "25", "jane@example.com"}); data.add(new String[]{"Mike", "35", "mike@example.com"}); ``` 创建 CSV 文件的代码如下: ```java CSVWriter writer = new CSVWriter(new FileWriter("data.csv")); writer.writeAll(data); writer.close(); ``` 3. 压缩CSV文件 使用 Apache Commons Compress 库将生成的 CSV 文件压缩为 zip 文件。以下是将 CSV 文件压缩为 zip 文件的代码: ```java FileInputStream inputStream = new FileInputStream("data.csv"); ZipOutputStream zipOutputStream = new ZipOutputStream(new FileOutputStream("data.zip")); ZipEntry zipEntry = new ZipEntry("data.csv"); zipOutputStream.putNextEntry(zipEntry); byte[] bytes = new byte[1024]; int length; while ((length = inputStream.read(bytes)) >= 0) { zipOutputStream.write(bytes, 0, length); } zipOutputStream.closeEntry(); zipOutputStream.close(); inputStream.close(); ``` 4. 完整代码 以下是将数据导出CSV 文件并进行压缩的完整代码: ```java import com.opencsv.CSVWriter; import java.io.*; import java.util.ArrayList; import java.util.List; import java.util.zip.ZipEntry; import java.util.zip.ZipOutputStream; public class CsvExporter { public static void main(String[] args) throws IOException { List<String[]> data = new ArrayList<>(); data.add(new String[]{"Name", "Age", "Email"}); data.add(new String[]{"John", "30", "john@example.com"}); data.add(new String[]{"Jane", "25", "jane@example.com"}); data.add(new String[]{"Mike", "35", "mike@example.com"}); CSVWriter writer = new CSVWriter(new FileWriter("data.csv")); writer.writeAll(data); writer.close(); FileInputStream inputStream = new FileInputStream("data.csv"); ZipOutputStream zipOutputStream = new ZipOutputStream(new FileOutputStream("data.zip")); ZipEntry zipEntry = new ZipEntry("data.csv"); zipOutputStream.putNextEntry(zipEntry); byte[] bytes = new byte[1024]; int length; while ((length = inputStream.read(bytes)) >= 0) { zipOutputStream.write(bytes, 0, length); } zipOutputStream.closeEntry(); zipOutputStream.close(); inputStream.close(); } } ``` 此代码将生成名为 `data.zip` 的压缩文件,其中包含名为 `data.csv` 的 CSV 文件

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 30
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值