Laravel的excel读取表格内存溢出解决方案

已于 2023-04-25 17:11:45 修改
阅读量573 收藏 2
点赞数 1
文章标签： php laravel
于 2023-04-25 16:57:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41402178/article/details/130367882
版权

技术栈：php laravel maatwebsite/excel

问题描述 ：用户上传excel表格，php程序读取表格数据，由于表格不规范出现大量空行数据（列和行都存在同样的问题），导致读取表格数据时内存溢出

解决方案：已经定位到问题是由于表格空行引起的，就从去掉空行数据入手解决，上代码

我是使用Excel的import读取表格数据的第一个参数是我们自己定义的表格数据处理实现类用来接收读取的数据
FixedImport处理类如下：

 我们的处理类必须实现以上的三个接口类
ToCollection 定义接收到数据类型（这里是集合）
WithColumnLimit 实现了此类则可以限制到读取到的最大列 

这里就强制要求我们的处理类实现endColumn方法我的表头如下，所有我定义了endColumn方法并返回k


SkipsEmptyRows 则是跳过空行，实现了该类则启用该规则

包代码的实现：不论你要求的返回类型是ToCollection或ToArray都会走到toArray方法


总结：以上方法仅适用了我在实际业务场景中限制表格20000条操作，并且生产服务器的运行内存是2个G，如果有更大数据量的要求建议走WithChunkReading,这个方法实现了异步分块读取数据

GnomeshghX
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Laravel开发-laravel-mobile-detect
08-27
Laravel开发-laravel-mobile-detect 即时移动检测直接从刀片模板内访问。
Excel大文件读取 Laravel
qq_32550561的博客
04-15 1409
正常读取excel内存溢出 采用EXcel分块 分页读取 重点是不要获取总行数和总列数
laravel中导出大量数据导致内存溢出解决
weixin_40592658的博客
03-07 1417
1、可以使用query−>cursor()代替query->cursor()代替query−>cursor()代替query->get()节省内存 它使用的是yield关键字，也就是运用生成器 2、还可以使用chunk $query->chunk(1000, function($items) use ($fp) { ...... }); ...
laravel5.2-使用了chunk处理数据一样内存溢出
u013321104的博客
05-07 516
因为在Providers的AppServiceProvider加了数据库查询监听，所以导致内存没释放，移除后问题决解。
Laravel Get、Cursor、Chunk、Offset 对比
咳咳，请多指教
11-15 1166
1. Get public function testGet() { $start = microtime(true); $num = 0; $rs = TestModel::get(); foreach ($rs as $v) { $num++; } $end = microtime(true); echo $num . PHP_EOL; echo ($end - $start) . PHP_EOL; $mem
完美解决java读取excel内存溢出问题.rar
06-06
总结来说，解决Java读取Excel内存溢出问题，关键在于合理利用资源、优化代码逻辑以及选择适合的API，如Apache POI的SXSSF。通过这些方法，我们可以在不显著增加系统资源负担的情况下，高效地处理大Excel文件。
关于Poi读取Excel引发内存溢出问题的解决方法
08-29
主要给大家介绍了关于Poi读取Excel引发内存溢出问题的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。
poi大量数据读取gc内存溢出解决方案
05-11
poi读取大量数据会造成gc内存溢出的报错,由于垃圾回收机制无法将大量的对象及时的回收,而这些对象又会保存在内存中,会导致内存不够用的情况,这时候我们就需要使用新的方法,读取为cvs即可.此解决方案可支持千万数据的...
解决Java导入excel大量数据出现内存溢出的问题
08-27
在上面的代码中，我们使用POI库来读取Excel文件，但是这种方法会将整个Excel文件加载到内存中，从而导致内存溢出。为了解决这个问题，我们可以使用CSV文件来代替Excel文件。 CSV文件是以逗号分隔值的文本文件，每一...
完美解决java读取大文件内存溢出的问题
08-29
以上两种解决方案都可以完美解决java读取大文件内存溢出的问题。它们可以让我们遍历大文件，而不需要将整个文件读取到内存中，从而避免内存溢出。 在实际应用中，我们可以根据具体情况选择合适的解决方案。比如，...
php更新千万级别数据,用Laravel轻松处理千万级数据的方法实现
weixin_35054319的博客
03-10 1077
在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据)事发现场最近在项目中遇到内存不足的问题, 测试环境中的PHP内存只有64M,在导出的时候, 数据量比较大,这个时候会出现内存溢出的错误;如何解决目前想到两种方法:调整php.ini文件中memory_limit配置项; 或者在调用方法中调整内存大小ini_set('memory_limit', "").使用Laravel的...
laravel结果分块、游标使用，游标内存溢出
wang1xiao2pan3的博客
11-14 1185
参考官方文档在同步大量数据或者清洗大流量数据场景下可以使用的方法chunk方法和cursor方法 本地测试chunk可以正常使用，但是相对于游标的介绍 感觉游标才是首选，于是用了一张20万数量的表测试，结果直接内存溢出，参考其它资料整理使用方案如下 使用DB类 public function byCursor($con,$table) { $i = 0; $pdo = $con->getPdo(); $pdo->setAttribute(\PDO::MY.
phpExcel导出文件时内存溢出的问题
aifeier1982的博客
05-23 732
在使用PHPExcel导出文件时，经常会因为文件过大导致PHP内存溢出报错，为了解决这个问题，可以使用PHPExcel提供的参数进行优化。这里说的Excel文件过大并不一定是文件大小，更关键的在于文件内存放的数据和格式，如果数据很多，格式又比较丰富，那很容易会将PHP的内存耗尽。 资料2中指出，Excel中一个单元格在不启用缓存的情况下大概占用内存是1K，一个8000行、31列的表格（2...
Laravel 教程：使用Fast Excel解决导出超大 XLSX 文件（千万级）带来的内存问题
weixin_43814458的博客
03-26 1818
TL;DR: 本文介绍 Laravel 的 FastExcel 组件，文中会对 PHP generators 速览，并给出如何在节约内存的同时结合两者从数据集生成 Excel 文件。 关于 FastExcel Laravel FastExcel旨在成为 Laravel 风格的Spout, 目的是简化导入 / 导出。它可以看作是Laravel Excel的一种更快（且对内存更友好）的替...
Laravel如何读取Excel文件【PHPer菜菜的PHP技术分享篇】
就叫我菜菜吧的博客
12-17 2948
昨天讲了如何利用Laravel的Excel扩展类去创建一个excel文件，今天来讲讲如何读取一个excel文件，这个在我们日常开发中经常遇到。比如，做一个excel导入功能，读取excel里的数据，并存进数据库中。这时候就需要今天讲到的知识点了。 下面是代码： public function loadExcelForUser(){ $file = storage_path('app/public/excel/user.xlsx');//获取\storage\app\public\excel\user
大数据导出Excel导致内存溢出的解决方案
热门推荐
SirLZF的博客
08-12 2万+
一、问题描述： 公司之前的项目中客户有一个需求是将业务数据导出到Excel表中，方便他们对账，单个导出任务数据量近100W，每当月初任务量多时，导出的项目就会内存溢出，挂掉。二、原因分析： 1、每个进程在写Excel文件时，都是先将数据加载到内存，然后再将内存里面的数据生成文件；因此单个进程任务的数据量过大，将无法及时回收系统内存，最终导致系统内存耗尽而宕机。 2、导出中ora
Laravel读取Excel
fyonecon
11-11 3836
- 1. 下载依赖：https://github.com/PHPOffice/PHPExcel； 2. 下载完成后，将PHPExcel文件夹放在laravel的vendor目录下； 3. 在你需要使用的控制器引用： use PHPExcel_IOFactory; use PHPExcel; 4. 例子：读取Excel： 封装： // 读取excel // $excel_file是excel文件的绝对路径；$start_row是起始行，默认2；$end_row是截至行，默认.
使用laravel解决库存超出的几个方案
weixin_41882200的博客
07-30 503
数据库字段 1. 错误的示范 /** * 错误示范 * Create by Peter Yang * 2021-06-08 10:57:59 * @return string */ function test1() { //商品id $id = request()->input('id'); $product = Product::where('id', $id)->f
laravel导出Excel表格提示内存超出
nycqwert的专栏
09-23 516
laravel导出Excel表格提示内存超出 修改php.ini max_input_time=180 (这个改的大些，就不会超时) memory_limit=-1 （这个才成-1）
读取表格 XSSFWorkbook内存溢出
最新发布
10-19
读取表格时，如果使用XSSFWorkbook来读取超大数据量的excel文件，可能会导致内存溢出。这是因为XSSFWorkbook会将整个excel文件加载到内存中，如果文件过大，就会导致内存不足。为了解决这个问题，可以使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值