thinkphp 3.2.2 导入 以及 5万条以上大文件Excel表格导入

最新推荐文章于 2023-11-17 15:21:57 发布
最新推荐文章于 2023-11-17 15:21:57 发布
阅读量1.3k 收藏 6
点赞数
文章标签： Excel导入 thinkphp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19809797/article/details/82878621
版权

一、首先说一下自己以前用的方式：以前是采用PHPoffice类+import.class.php文件导入。代码如下：

1.html代码：

<a href="#" style="margin-right: 10px" id="leading_in"  data-toggle="modal"  data-target="#myModal_leading_in">
<span class="glyphicon glyphicon-log-in"  style="margin-right: 5px;color: #00BD8B"></span>导入 </a>
​
<!--  导入 模态框  -->
<div class="modal fade" id="myModal_leading_in" tabindex="-1" role="dialog" aria-labelledby="myModalLabel-add" aria-hidden="true">
     <div class="modal-dialog">
          <div class="modal-content">
               <div class="modal-header">
                    <button type="button" class="close" data-dismiss="modal" aria-hidden="true">&times;</button>
                    <h4 class="modal-title" id="myModalLabel-add">导入</h4>
               </div>
               <form id="form_upload" enctype="multipart/form-data" action="__URL__/upload_iplib" method="post">
                <div class="modal-body" style="margin-bottom:20px;">
                    <div class="form-group" >
                         <div class="col-sm-9" style="margin-bottom:10px;">
                              <a href="__ROOT__/DownLoad/iplib.xlsx" style="color:#22a7f0;" >下载模板</a>
                        </div>
                    </div><br/>
                    <div class="form-group">
                        <div class="col-sm-9">
                             <div class="widget-main">
                                  <input type="file" id="id-input-file-2" name="file"/>
                             </div>
                        </div>
                    </div>

                    <div class="space-4"></div>
                </div>
                <div class="modal-footer">
                     <input type="submit" class="btn btn-info" value="确定">
                     <button type="button" class="btn btn-default" data-dismiss="modal">关闭</button></div>
            </form>
          </div><!-- /.modal-content -->
      </div><!-- /.modal -->
  </div>

​

2.PHP代码：

//IP地址库导入
    public function upload_iplib(){
        $upload = new \Think\Upload();// 实例化上传类
        $upload->maxSize   =     3145728 ;// 设置附件上传大小
        $upload->exts      =     array('xls', 'xlsx');// 设置附件上传类型
        $upload->rootPath  =     './Uploads/'; // 设置附件上传根目录
        $upload->savePath  =     ''; // 设置附件上传（子）目录
        $upload->saveName = 'time';
        $upload->autoSub  = false;

        // 上传文件
        $info   =   $upload->upload();
        if(!$info) {// 上传错误提示错误信息
             $this->error($upload->getError());
        }
        $result = Import::excel($info['file']['savename']);
        $config = Policy::iplib_col();
        $error_msg = "";
        $status = 'success';
        if(!empty($result)){          
            foreach ($result as $key => $value) { 
                $data = array();
                foreach ($value as $k => $v) {
                    if(is_null($v)){
                        continue;
                    }
                    if (isset($config[$k])) {
                        if ($v!='') {
                          $data[$config[$k]] = Policy::col2value($k, $v);
                        }
                    }        
                }
                if($result['status'] === false) {
                    $status = 'failed';
                    $error_msg .= $res['message']."(excel:".($key + 1).")     ";
                }else{
                    M('ip_address_library')->add($data);
                } 
            }

            $this->ajaxReturn(['status' => $status]);
        }else{
            $status='error';
            $error_msg ='没有导入任何信息！';
            $this->ajaxReturn(['status' => $status,'message' => $error_msg]);
        }
        
    }

3.import.class.php

<?php
/**
 * Created by zhou.
 * User: zhou
 * Date: 2015/9/17
 * Time: 15:16
 */

namespace Home\Common;


use PHPExcel;
use PHPExcel_IOFactory;

Vendor('Classes.PHPExcel');

class Import
{

    public static function excel($filePath = "")
    {
        $filePath = "./Uploads/".$filePath; // 要读取的文件的路径
        $PHPExcel = new PHPExcel(); // 拿到实例，待会儿用
        $PHPReader = new \PHPExcel_Reader_Excel2007(); // Reader很关键，用来读excel文件
        if (!$PHPReader->canRead($filePath)) { // 这里是用Reader尝试去读文件，07不行用05，05不行就报错。注意，这里的return是Yii框架的方式。
            $PHPReader = new \PHPExcel_Reader_Excel5();
            if (!$PHPReader->canRead($filePath)) {
                $errorMessage = "Can not read file.";
                return $this->render('error', ['errorMessage' => $errorMessage]);
            }
        }
        $PHPExcel = $PHPReader->load($filePath); // Reader读出来后，加载给Excel实例
        $currentSheet = $PHPExcel->getSheet(0); // 拿到第一个sheet（工作簿？）
        $result = [];

        foreach ($currentSheet->getRowIterator() as $row) { // 行迭代器

            $cellIterator = $row->getCellIterator(); // 拿到行中的cell迭代器
            $cellIterator->setIterateOnlyExistingCells(false); // 设置cell迭代器，遍历所有cell，哪怕cell没有值
            $lineVal = [];
            foreach ($cellIterator as $cell) {

                if ($cell->getDataType() == \PHPExcel_Cell_DataType::TYPE_NUMERIC) { // 这里是比较cell中数据类型是不是number
                    $cellStyleFormat = $cell->getStyle( $cell->getCoordinate() )->getNumberFormat(); // 接下来这两句是拿到这个number的格式
                    $formatCode = $cellStyleFormat->getFormatCode(); // 如果是普通的数字，formatCode将为General, 如果是如6/12/91 12:00的时间格式，formatCode将为/d/yy h:mm（反正就是时间格式了）
                    if ($formatCode == 'yyyy/m/d\ h:mm;@') {
                        $value = \PHPExcel_Shared_Date::ExcelToPHP($cell->getValue()) - 28800;
                    } else {
                        $value = $cell->getValue();
                    }
                } else {
                    $value = $cell->getValue();
                }
                array_push($lineVal, RemoveXSS($value));

            }
            array_push($result, $lineVal);
        }

        $config = $result[0];
        $result_info = [];

        foreach ($result as $key => $value) {
            if ($key == 0) {
                unset($result[$key]);
                continue;
            }
            foreach ($value as $k => $v) {
                $result_info[$key][$config[$k]] = $v;
            }

        }

        return $result_info;
    }

}

二、由于工作中碰到 要一下子导入5万条数据，页面会超时，导致NGINX挂死。所以修改方案，按照导入CSV格式的文件，先切割为1万行一个的小文件，再导入。代码如下：

1.html代码：

<a href="#" style="margin-left: 15px;cursor: pointer;" id="leading_in"  data-toggle="modal"  data-target="#myModal_leading_in">
<span class="glyphicon glyphicon-log-in"  style="margin-right: 5px;color: #00BD8B"></span>导入 </a>
<!--  导入 模态框  -->
<div class="modal fade" id="myModal_leading_in" tabindex="-1" role="dialog"
     aria-labelledby="myModalLabel-add" aria-hidden="true">
    <div class="modal-dialog">
        <div class="modal-content">
            <div class="modal-header">
                <button type="button" class="close" data-dismiss="modal"
                        aria-hidden="true">&times;
                </button>
                <h4 class="modal-title" id="myModalLabel-add">导入</h4>
            </div>
            <form id="form_upload" enctype="multipart/form-data" action="__URL__/before_upload" method="post">
            <div class="modal-body" style="margin-bottom:20px;">
                
                   <div class="form-group" >
                        <div class="col-sm-9" style="margin-bottom:10px;">
                            <a href="__PUBLIC__/Download/policy_isms.xlsx" style="color:#22a7f0;" >下载模板</a>
                        </div>
                    </div><br/>

                    <div class="form-group">

                        <div class="col-sm-9">
                            <div class="widget-main">
                                <input type="file" id="id-input-file-2" name="file"/>
                                <input type='hidden' name="count" value="0">
                            </div>
                        </div>
                    </div>

                    <div class="space-4"></div>
                
            </div>
            <div class="modal-footer">
                <input type="submit" class="btn btn-info" value="确定">
                <button type="button" class="btn btn-default" data-dismiss="modal">关闭</button>
            </div>
            </form>
        </div><!-- /.modal-content -->
    </div><!-- /.modal -->
</div>

2.jQuery代码，注意这里是有个递归过程，先走before_upload将文件进行上传和拆分，再传参数给前端，如果传过来的参数表明还有待导入的文件 则再走一遍import_result()函数，如果没有则提示导入成功！

需要要引入一个jquery 插件jquery.form.js

<script type="text/javascript" src="__PUBLIC__/js/jquery.form.js"></script>
var import_condition = {};
    $(document).ready(function(){
        $("#form_upload").ajaxForm({
            success:function(data){
                if(data.status === 1) {
                confirm('没有数据', {
                    btn: ['确定'] //按钮
                }, function () {
                    closeAll();
                });
            } else if (data.status === '3') {
                    import_condition.count = data.count;
                    import_result();
                }else{
                    alert(data.info);
                }
            }
        });
    })
    
    function import_result(){
        $.post("__URL__/info_upload",import_condition , function(data){
            if(data.status === 'success') {
                alert('导入成功！');
            } else if (data.status === '3') {
                import_condition.count = data.count;
                import_result();
            }else{
                alert(data.message)
            }
        });

    }

3.PHP代码（上传并切割文件的方法）：

//上传并分割csv文件
  public function before_upload(){
    $upload = new \Think\Upload();// 实例化上传类
    $upload->maxSize   =     0 ;// 设置附件上传大小
    $upload->exts      =     array('csv');// 设置附件上传类型
    $upload->rootPath  =     './Uploads/excel/'; // 设置附件上传根目录
    $upload->savePath  =     ''; // 设置附件上传（子）目录
    $upload->saveName = 'time';
    $upload->autoSub  = false;

    // 上传文件
    $info   =   $upload->upload();
    if(!$info) {// 上传错误提示错误信息
         $this->error($upload->getError());
    }
    $count = I('count');
    $rootPath = C('DOWN_PATH');
    $filePath = 'excel/';
    if($info['file']['savename']){
        $cmd = "cd ". $rootPath . $filePath . "\n";
        $cmd .= "split -a  1 -l 10000 " . $info['file']['savename']." -d zp_";
        //dump($cmd);die;
        $result = system($cmd);
        if ($result)
        {
            $status = true;
        }
        $cmd = "cd ".$rootPath.$filePath."\n";
        $cmd .= "rm -rf ".$info['file']['savename'];
        $res = system($cmd);
    }
    //dump($rootPath . $filePath.'zp_'.$count);die;
    if(file_exists($rootPath . $filePath.'zp_'.$count)){
      $this->ajaxReturn(array('status'=>'3','count'=>$count));
    }else{
      $this->ajaxReturn(array('status'=>'1'));
    }

  }

4.导入的方法：

public function info_upload(){
    
    $count = I('count');
    $rootPath = C('DOWN_PATH');
    $cmd = "cd ".$rootPath."excel/"."\n";
    $cmd.= 'mv zp_'.$count." zp_".$count.".csv"."\n";
    $cmd .= "chmod -R 777 zp_".$count.".csv";
    system($cmd);
    $filename = "zp_".$count.".csv";

    $file = fopen($rootPath."excel/".$filename,'r');
    while(!feof($file)){
      $dat[] = fgetcsv($file);
    }
    $dat = eval('return ' . iconv('EUC-CN', 'utf-8', var_export($dat, true)) . ';');
    foreach ($dat as $key => $value) {
      if (!$value) {
        unset($dat[$key]);
      }
    }
    fclose($file);
    //dump($data);die;
    $config = Policy::col();
    $error_msg = "";
    $status = 'success';
    $top_data = array(
      '0' =>  "指令ID",
      '1' =>  "指令类型",
      '2' =>  "机房名称",
      '3' =>  "生效时间",
      '4' =>  "过期时间",
      '5' =>  "操作类型",
      '6' =>  "域名",
      '7' =>  "URL",
      '8' =>  "关键字",
      '9' =>  "源IP地址",
      '10' =>  "目的IP地址",
      '11' => "源端口",
      '12' => "目的端口",
      '13' => "传输层协议",
    );
    if($count == 0){
      //文件被切割后只有第一个存在标题，需要去掉
      unset($dat[0]);
    }
    //转化成需要的格式
    foreach ($dat as $key => $value) {
      foreach ($value as $k => $val) {
        $result[$key-1][$top_data[$k]] = $val;
      }
      
    }
    if(!empty($result)){ 
        foreach ($result as $key => $value) { 
            $data = array();
            foreach ($value as $k => $v) {
                if(is_null($v)){
                    continue;
                }
                if (isset($config[$k])) {
                    if ($v!='') {
                      //转换成 字段名 =>value的形式
                      $data[$config[$k]] = Policy::col2value($k, $v);
                      //dump([$config[$k]]);die;
                    }
                }        
            }
            $data['effect_time'] = strtotime($data['effect_time']);
            $data['expired_time'] = strtotime($data['expired_time']);
            if($result['status'] === false) {
                $status = 'failed';
                $error_msg .= $res['message']."(excel:".($key + 1).")     ";
            }else{
              //dump($data);die;
              $rule = $data;
              //去掉不是规则的data数组中的元素
              unset($rule['type']);
              unset($rule['house_id']);
              unset($rule['effect_time']);
              unset($rule['expired_time']); 
              unset($rule['operationtype']);
              unset($rule['commandid']);
              foreach ($rule as $key => $value) {
                if($value !=''){
                  if($key == '关键字'){
                    $data['rule'][] = array('subtype'=>$key,'valueStart'=>str_replace('，', ',', $value),'keywordRange'=>'0,1,2');
                  }else{
                    //将规则统一归到$data['rule']里面
                    $data['rule'][] = array('subtype'=>$key,'valueStart'=>$value);
                  }
                }
              }
              $data['level'] = $this->judge_level($data['rule'],$data['type']);
              //去掉规则汉字的元素  因为规则已被归到$data['rule']里面
              unset($data['域名']);
              unset($data['URL']);
              unset($data['关键字']);
              unset($data['源IP地址']);
              unset($data['目的IP地址']);
              unset($data['源端口']);
              unset($data['目的端口']);
              unset($data['传输层协议']);
              $data['idc_id'] = M('basic_idc')->select()[0]['idc_id'];
              $data['owner'] = $_SESSION['username'];
              $this->info_build_xml($data);
              //停顿一毫秒，太快反应不过来会丢文件  
              usleep(100);            
            } 
        }
        //循环完了该文件里的内容就删掉，防止与下次导入发生重合
        $cmd = "cd ".$rootPath."excel/"."\n";
        $cmd .= "rm zp_".$count.".csv";
        system($cmd);

        if(file_exists($rootPath."excel/".'zp_'.($count+1))){
          $this->ajaxReturn(['status' => '3','count'=>$count+1]);
        }else{
          $this->ajaxReturn(['status' => $status]);
        }
        
    }else{
        $status='error';
        $error_msg ='没有导入任何信息！';
        $this->ajaxReturn(['status' => $status,'message' => $error_msg]);
    }
  }

 

小主wa
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
thinkphp5.1 框架导入/导出excel文件操作示例
10-15
主要介绍了thinkphp5.1 框架导入/导出excel文件操作,结合实例形式分析了thinkphp5.1 框架导入/导出excel文件具体操作实现技巧与相关注意事项,需要的朋友可以参考下
ThinkPHP基于PHPExcel导入Excel文件的方法
10-25
主要介绍了ThinkPHP基于PHPExcel导入Excel文件的方法,对于Excel文件的上传、读取操作以及写入数据库等都做了较为详尽的讲述,在进行项目开发的过程中非常具有实用价值,需要的朋友可以参考下
PHP导入(百万级)Excel表格数据
m0_37323391的博客
03-21 3426
PHP导入excel数据简介excel插件导入实现存在的问题mysql load data infile总结 简介 但我们使用PHP框架进行项目开发的时候，难免会遇到一些数据导入的需求，比如后台导入用户，导入订单数据等等，通常解决方案都是compose引入excel插件，先将文件上传到服务器，将文件中的数据读取到内存中，再插入数据表中。 excel插件导入实现 1、我们以laravel5.5框架为...
thinkphp5 php读取超大的excel文件数据的方案
weixin_41965172的博客
02-22 1252
thinkphp5PHP读取超大的excel文件数据的方案 public function convert($size) { $unit = array('b', 'kb', 'mb', 'gb', 'tb', 'pb'); return @round($size / pow(1024, ($i = floor(log($size, 1024)))), 2) . ' ' . ...
PHP如何优雅从表格导入十万条数据甚至百万条数据呢？
future的博客
03-31 2181
php不使用phpexcel如何导入表格数据？
PHP如何切割excel大文件（附完整代码）
weixin_44056915的博客
12-24 900
利用phpspreadsheet可以轻松的解析excel文件，但是phpspreadsheet的内存消耗也是比较大的，我试过解析将近5M的纯文字excel内存使用量就会超过php默认的最大内存128M。 当然这可以用调节内存大小的方法来解决，但是在并发量大的时候就比较危险了。 所以今天介绍下一种方法，利用phpspreadsheet对excel文件进行切割，这是个拿时间换空间的方法所以一般对时效性...
宝塔ThinkPhp6通过excel插入五十万条数据实例
最新发布
weixin_47961874的博客
11-17 290
在TP6下上传excel表格并把excel中的数据导入到数据库的一种方式，数据量为50W级
Thinkphp5导入导出excel
04-18
本教程将详细讲解如何在Thinkphp5环境中实现Excel的导入与导出，这在数据处理、报表生成以及数据分析等场景中非常常见。 首先，我们需要引入一个第三方库来处理Excel文件。`PHPExcel`是PHP中广泛使用的处理Excel的...
thinkphp5整合excel导入导出
01-23
在开发Web应用时，数据...这个过程涉及到文件上传、第三方库的使用以及控制器、视图、模型间的交互，对理解ThinkPHP5框架的运作机制有很大帮助。同时，这也是一种常见的Web开发需求，掌握这部分知识能提高开发效率。
thinkPHP实现将excel导入到数据库中的方法
10-22
在开发Web应用时，有时需要将用户上传的Excel文件数据导入到数据库中，这在数据分析、数据处理等场景中非常常见。在PHP框架thinkPHP中，我们可以借助PHPExcel插件来实现这一功能。以下是一个详细的步骤解释如何在...
PHP：通过PHPexcel上传10W行数据到数据库
shamqu的博客
04-10 1434
因为有一次性导入10W条左右的excel数据到数据库中，所以Sham需要想办法实现，导入同时还需要判断是否已经存在数据库里了，以下是实现方法和代码： 首先，通过一次性读取数据库数据，把用来判断的键值拼接，用MD5转码之后，作为key键值存入数组； 然后通过phpexcel读取excel数据，同样把用来判断的拼接转码，然后通过isset($array[$key])来判断，如有，则通过co...
Thinkphp利用execl实现批量导入和导出
猿分已尽的博客
10-22 1117
转自：https://www.cnblogs.com/shenlin/p/7826664.html 准备工作： 1、tp环境（本人使用的是tp3.2）。 2、phpexecl扩展包，下载地址：点击下载，下载地址（class.php）： 1 &lt;a href="http://www.ediut.com/soft/PHPExcel.class.rar"/&gt...
PHP大数据量(大于50万)导出到Excel解决方案
热门推荐
让编程改变世界
02-12 2万+
综述 最近在工作中遇到这样一个问题，公司项目要求订单有导出功能，以前虽然也使用PHPExcel做过几个导出功能，但是这次所需导出的数量巨大，因此在开发中遇到一些导出的坑，在此进行总结记录一下。 吐槽 首先，我们可以肯定这个需求太XX(手动和谐)了，这么大的数据量让谁看这去分析啊？一般的Excel数据都是给市场、财务的的非技术部门使用的，所以，我认为应该把思路首先放到为什么需要导出这类数据上，...
thinkphp 操作导入excel表 且保存错误数据到新的excel表
李小文的博客
06-03 387
准备工作：下载PHPExcel文件存放在自己的文件下（我放在了extend目录下） 1.前端：先实现可以上传文件（和平时上传文件一样） 因为我的页面还有其他功能的实现，所以自己写了个方法来收回传的上传成功文件的路径（本人用的是前端layui框架，自带上传） 后台：处理数据的方法。 $upload = input('upload'); $acti...
phpexcle在thinkphp3.2.3下的导入导出数据
月雨华的博客
04-26 984
phpexcle 乱码 /
ThinkPHP3.2 导入excel
米枔的博客
03-18 214
1.需要引入PHPExcel，放在ThinkPHP/Library/Vendor/目录下 2.php代码 if (!empty($_FILES['imgFile'])) { $upload = new \Think\Upload();// 实例化上传类 $upload->maxSize = 3145728...
php导出五百万条数据到excel,经理要我把五百万条数据全部导入Excel！还好有Python！不然等死-站长资讯中心...
weixin_30949015的博客
03-11 278
Excel是坐着电脑前百分之九十九的人都会不用的办公软件，东西少还好说，那样存入表格也简单，但是当你的数据达到几万几十万，几百万那就恐怖了，如果全靠手动，那么你至少要连上一个月的班了，不能停息的那种！可见这时候就考虑到技术方面的能力了，很多东西都可以自动实现，如果手动的话，真不知道搞到何年何月了，耗时不说，关键没有什么意义！好了回归正题，手把手教你如何利用Python来操作Excel！进群：125...
php如何处理excel文件大小,PHP如何切割excel大文件（附完整代码）-php教程
weixin_33602696的博客
03-21 378
本篇文章次要讲述的是行使phpspreadsheet切割excel年夜文件，具备肯定的参考代价，感兴味的冤家能够理解一下，心愿对你有所启示。行使phpspreadsheet能够轻松的解析excel文件，然而phpspreadsheet的内存耗费也是比拟年夜的，我试过解析快要5M的纯文字excel内存应用量就会超越php默许的最年夜内存128M。当然这能够用调理内存巨细的办法来处理，然而正在并发量年...
原生 PHP 使用 PHPExcel 读取 excel 数据批量上传数据到数据库
weixin_44468853的博客
09-10 1443
应用场景 当遇到需要批量导入数据的时候，前端会上传一个excel表格，由后端读取数据并存入数据库。前端代码就不介绍了，这是一个前后端分离的项目，主要是讲解后端读取excel表格的数据。前端上传文件就可以了。 PHPExcel 是什么 是用来操作office excel 文档的一个PHP类库，它基于微软的OpenXML标准和PHP语言。可以使用它来读取、写入不同格式的电子表格，如Excel（BIFF）.xls,Excel 2007 （OfficeOpenXML），.xlsx,CSV,Libre/OpenOf
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值