php导出大数据csv文件超时解决方案

最新推荐文章于 2024-07-19 10:46:00 发布

qq_28510439

最新推荐文章于 2024-07-19 10:46:00 发布

阅读量2.7k

点赞数

文章标签： php 数据导出

本文链接：https://blog.csdn.net/qq_28510439/article/details/80383583

版权

作者在一次工作中需要导出一份10多万数据的csv文件，导出过程中出现时php超时的问题，下面提供下个人的解决方案：

1. 使用分页检索数据库，首先在页面中获取到页数及在服务器中生成一个只有title的csv文件

2. 在页面中js循环调用ajax,循环次数为之前获取到的页数，在ajax调用的页面中根据条件查询出数据，fwrite写入到csv文件中

3. 这样多次循环后生成完整的csv文件，完成后跳转到另一页面中，页面中访问csv文件地址，读取内容

4. 将内容echo出来，就提示用户下载文件了

5. 最后删除csv文件即可

重点在于循环调用ajax写入csv文件

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_28510439

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

php导出大数据csv表格

07-16

phpExcel导出数据老是内存溢出，用此方法一边下载一边查询数据写入到文件每次都把缓存区清空，解决了内存溢出问题。此方法可以到处大数据本人测试过导出100W数据完全无压力

数据太大导致php运行超时报错500Internal Server Error

winkexin的博客

05-23

1193

一次性调用的数据太大，就会导致php运行超时，继而报错500Internal Server Error的可能，这里分享几种解决方法。

参与评论您还未登录，请先登录后发表或查看评论

解决PHPExce 导出遇到的各种坑，能导出几个G的表格的方法，大批量导出中的代码设置、服务器设置、php设置等各种配置

是日已过，命亦随减的博客

11-04

295

如果我们要用PHPExce 导出1个G的压缩文件，怎么办，按我们能想到的办法，把所有可能的地方考虑进去，目前笔者测试能导出800M 的文件，表格中还有缩略图，时间为15分钟，14分多钟，笔者服务器配置为4核8G内存10M 宽带。导出还好，下载的时候估计是200M 的宽带都能吃完，你有多少宽带他吃多少，吃的越多，速度也越快。看腾讯云后台监控：下载的时候把10M 宽带都吃完了，而且下载800M 也要10分钟吧，10分钟内其他程序别的什么东西都做不了。所以我们把下载这个操作放到了备用服务器上执行，这个备用服务器

生成和写入CSV文件

最新发布

apiok的博客

07-19

301

此函数使用fputcsv PHP内置函数生成逗号分隔文件(.CSV).该函数有3个参数：数据，分隔符和CSV enclosure,默认是双引号。这个跟fputcsv无关，而主要的关键在于你打开文件的模式，你需要使用 a 或是 a+ 模式打开文件。'a+' 读写方式打开，将文件指针指向文件末尾。如果文件不存在则尝试创建之。'a' 写入方式打开，将文件指针指向文件末尾。如果文件不存在则尝试创建之。2.php写入和读取数据到CSV文件。1.php数据创建CSV文件。

php导出CSV性能提升100倍

輘酆的博客

05-15

510

导出csv文件性能加速总结方法一: 普通导出 csv 如下: function putCsv() { $fp = fopen('1.csv', "w"); for ($i = 0; $i < 1000; $i++) { $row = ['张三', 180, 20.22, 'Saf', '这是一个无意义的文本']; fputcsv($fp, $row); } fclose($fp); } 缺点: 每一行数据都要写磁盘，导致导出速.

PHP快速导入大量数据到数据库,快速导出百万级数据到CSV或者EXCEL文件

hanzhuhuaa的博客

09-16

1582

前言：很多时候，因为数据统计，我们需要将数据库的数据导出到Excel等文件中，以供数据人员进行查看，如果数据集不大，其实很容易；但是如果对于大数集的导出，将要考虑各种性能的问题，这里以导出数据库一百万条数据为例，导出时间不过20秒，值的学习的一种大数据导出方式。总结：在插入大批量数据时，第一种方法无疑是最差劲的，而第二种方法在实际应用中就比较广泛，第三种方法在插入测试数据或者其他低要求时比较合适，速度确实快。如果导出数量过大，推荐使用循环导出，每次循环这里以导出一万条为例，循环100次即可全部导出。

tp5 PHPExcel导入大数据导致服务端程序不响应超时

bosris的博客

10-19

1470

tp5下PHPExcel导入，前端采用ajax方式处理，起初导入一切正常。当数据量变大后只能导入前部分数据，后面直接报服务器500错误，无法找到服务端处理方法，后续数据导入失败。2、php.ini里的 max_execution_time = 300 改 max_execution_time = 0。归根结底还是php超时问题，因为我用的是自己的服务器，可以修改服务器配置文件，下面是解决办法。这里我用的是Apache，如果是Nginxy也是同样的思路。最大执行时间单位为妙，0为不做限制。

PHP导出Excel时数据量过大的问题

猛犸象

01-17

5198

1、设置脚本运行时间 set_time_limit(0) 2、运行内存设置当数据量比较大时就需要设置memory_limit，来防止内存报错，但是这终究不是解决办法，因为系统的内存是有限的，比如你设置为1G，那么当10个人来同时调用的时候，会占用10G内存。 3、关于Excel软件的限制 Excel 2003及以下的版本。一张表最大支持65536行数据，256列。 Excel 2007-201...

php导出csv文件,可导出前导0实例代码

10-21

PHP导出CSV文件功能是一个非常实用的编程技巧，特别适用于需要将数据库中的数据导出为CSV格式文件的场景。在许多业务需求中，用户可能需要下载包含前导零的数据，例如编号、日期或者其他特定格式的数据。本文将详细...

详解PHP导入导出CSV文件

10-25

PHP作为一门广泛应用于网站开发的脚本语言，提供了多种方法来实现CSV文件与数据库之间的导入导出功能。首先，介绍CSV文件格式。CSV文件是由逗号分隔的纯文本文件，每一行代表一条记录，字段之间以逗号分隔。CSV...

java生成csv文件乱码的解决方法示例 java导出csv乱码

09-04

CSV文件是一种常见的数据交换格式，通常用于导入和导出数据到电子表格程序如Microsoft Excel。当在Java程序中创建或读取CSV文件时，确保正确的字符编码是至关重要的，尤其是对于包含非ASCII字符（如中文字符）的数据...

PHP实现CSV文件的导入和导出类

10-24

导出CSV文件的功能是通过类中的`export`方法实现的。该方法同样依赖于类内部的成员变量来完成操作。具体实现步骤如下： 1. **构造函数**：首先通过构造函数初始化`$csv_array`（数据数组）和`$column`（列数），并...

PHP批量导出20万条数据解决消耗内存和时间问题

star_xing123的博客

06-18

3074

在项目中使用php批量导出数据到Excel中，大量数据2w，5w，10w数据就要面临问题 1、导出时间变得很慢，少则1分钟，多则好几分钟，数据量一旦上来，还可能面临导不出来的困窘（这种导出效率正常人都会受不了，更何况是要求苛刻的用户）。 2、导出消耗大量的内存资源，即使把php内存使用设置为无限大，当多个用户同时使用导出功能导出大量数据的时候，服务器内存使用就会直线往上升，报警，甚至宕机，严重...

php excel性能,php-PHPExcel非常慢-改进方法？

weixin_30099989的博客

03-09

753

我也遇到了这个问题。以为我会投入两分钱，因为这个问题得到了很多意见。设置单元格值而不是单独为每个单元格设置值，而是使用2985230373682682448方法。摘自Wiki。$arrayData = array(array(NULL, 2010, 2011, 2012),array('Q1', 12, 15, 21),array('Q2', 56, 73, 86),a...

TinkPHP5.1使用phpexcel导出excel包含图片问题解决方案

wyh757787026的博客

04-06

537

//安装phpexcel的composer包 composerrequirephpoffice/phpexcel <?php namespaceapp\index\controller; usethink\Controller; usePHPExcel_Worksheet_Drawing; usePHPExcel; usePHPExcel_IOFactory; usePHPExcel_Style_Alignment; usethink\facade\Env; classIn...

PHP使用xlswriter扩展优化Excel导出性能

猛犸象

12-28

6301

关于xlswriter xlswriter 是一个 PHP C 扩展，旨在提升php在导出大数据量时的性能问题，支持 windows / Linux 。可用于在 Excel 2007+ XLSX 文件中读取数据，插入多个工作表，写入文本、数字、公式、日期、图表、图片和超链接。它具备以下特性：一、写入 100％兼容的 Excel XLSX 文件完整的 Excel 格式合并单元格定义工作表名称过滤器图表数据验证和下拉列表工作表 PNG/JPEG 图像用于写入大文件的内存优化模式适用于 L

phpExcel导出文件时内存溢出的问题

aifeier1982的博客

05-23

748

在使用PHPExcel导出文件时，经常会因为文件过大导致PHP内存溢出报错，为了解决这个问题，可以使用PHPExcel提供的参数进行优化。这里说的Excel文件过大并不一定是文件大小，更关键的在于文件内存放的数据和格式，如果数据很多，格式又比较丰富，那很容易会将PHP的内存耗尽。资料2中指出，Excel中一个单元格在不启用缓存的情况下大概占用内存是1K，一个8000行、31列的表格（2...

php excel 导出超时,PHPExcel导出Excel时超时超内存分析与解决方案

weixin_42430341的博客

03-11

2051

PHP开发者在工作中经常会遇到，后台系统功能，每开发一个数据查询列表功能，都少不了对应的数据导出功能。PHP的技术栈中，通常会采用PHPExcel这个开源的库来解决数据导出问题。但在实际使用过程中，总是会遇到导出报超时，或超内存的问题，为业务方所诟病。这篇文章，我们分别从超时和超内存两个方面，分析原因，及提出对应的解决方案。超内存原因(1)导出内容过多。这是很容易理解的一个原因。导出的列与行越多，...

PHP导出大量数据（csv）

gzmyh的博客

05-05

2565

如果想一次性导出大量数据如几十万，上百万，往往会出现两个问题： 1.脚本执行超时 2.php内存不够第一个问题很好解决：set_time_limit(0);设置为0时，表示不限制脚本的时间。但是不建议这样设置，一般会给个时间，比如一小时，半小时第二问题你可以设置php的内存，但是这种方式是不可取的，试想一下如果执行这个脚本占那么大内存，那么其他应用就会受影响。这里提供一种方法，就是...