poi大数据量excel导入

最新推荐文章于 2024-01-21 00:34:25 发布
最新推荐文章于 2024-01-21 00:34:25 发布
阅读量4.6k 收藏 5
点赞数
分类专栏： 学习笔记 文章标签： 大数据 excel java

学习使用，以备不时只需

1、HxlsAbstract

import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.PrintStream; 
import java.sql.SQLException; 
import java.util.ArrayList; 
import java.util.List; 
 
import org.apache.poi.hssf.eventusermodel.FormatTrackingHSSFListener; 
import org.apache.poi.hssf.eventusermodel.HSSFEventFactory; 
import org.apache.poi.hssf.eventusermodel.HSSFListener; 
import org.apache.poi.hssf.eventusermodel.HSSFRequest; 
import org.apache.poi.hssf.eventusermodel.MissingRecordAwareHSSFListener; 
import org.apache.poi.hssf.eventusermodel.EventWorkbookBuilder.SheetRecordCollectingListener; 
import org.apache.poi.hssf.eventusermodel.dummyrecord.LastCellOfRowDummyRecord; 
import org.apache.poi.hssf.eventusermodel.dummyrecord.MissingCellDummyRecord; 
import org.apache.poi.hssf.model.HSSFFormulaParser; 
import org.apache.poi.hssf.record.BOFRecord; 
import org.apache.poi.hssf.record.BlankRecord; 
import org.apache.poi.hssf.record.BoolErrRecord; 
import org.apache.poi.hssf.record.BoundSheetRecord; 
import org.apache.poi.hssf.record.FormulaRecord; 
import org.apache.poi.hssf.record.LabelRecord; 
import org.apache.poi.hssf.record.LabelSSTRecord; 
import org.apache.poi.hssf.record.NoteRecord; 
import org.apache.poi.hssf.record.NumberRecord; 
import org.apache.poi.hssf.record.RKRecord; 
import org.apache.poi.hssf.record.Record; 
import org.apache.poi.hssf.record.SSTRecord; 
import org.apache.poi.hssf.record.StringRecord; 
import org.apache.poi.hssf.usermodel.HSSFWorkbook; 
import org.apache.poi.poifs.filesystem.POIFSFileSystem; 
 
/**
 * @项目名：保密
 * @包名：保密
 * @文件名：HxlsAbstract.java
 * @日期：Dec 24, 2010 10:54:52 AM
 * @备注：POI导入excel（大数据量）
 * @作者：apple
 */ 
public abstract class HxlsAbstract implements HSSFListener { 
    private int minColumns; 
    private POIFSFileSystem fs; 
    private PrintStream output; 
 
    private int lastRowNumber; 
    private int lastColumnNumber; 
 
    /** Should we output the formula, or the value it has? */ 
    private boolean outputFormulaValues = true; 
 
    /** For parsing Formulas */ 
    private SheetRecordCollectingListener workbookBuildingListener; 
    private HSSFWorkbook stubWorkbook; 
 
    // Records we pick up as we process 
    private SSTRecord sstRecord; 
    private FormatTrackingHSSFListener formatListener; 
 
    /** So we known which sheet we're on */ 
    private int sheetIndex = -1; 
    private BoundSheetRecord[] orderedBSRs; 
    @SuppressWarnings("unchecked") 
    private ArrayList boundSheetRecords = new ArrayList(); 
 
    // For handling formulas with string results 
    private int nextRow; 
    private int nextColumn; 
    private boolean outputNextStringRecord; 
 
    private int curRow; 
    private List<String> rowlist; 
    @SuppressWarnings( "unused") 
    private String sheetName; 
 
    public HxlsAbstract(POIFSFileSystem fs) 
            throws SQLException { 
        this.fs = fs; 
        this.output = System.out; 
        this.minColumns = -1; 
        this.curRow = 0; 
        this.rowlist = new ArrayList<String>(); 
    } 
 
    public HxlsAbstract(String filename) throws IOException, 
            FileNotFoundException, SQLException { 
        this(new POIFSFileSystem(new FileInputStream(filename))); 
    } 
     
    //excel记录行操作方法，以行索引和行元素列表为参数，对一行元素进行操作，元素为String类型 
//  public abstract void optRows(int curRow, List<String> rowlist) throws SQLException ; 
     
    //excel记录行操作方法，以sheet索引，行索引和行元素列表为参数，对sheet的一行元素进行操作，元素为String类型 
    public abstract void optRows(int sheetIndex,int curRow, List<String> rowlist) throws SQLException; 
     
    /**
     * 遍历 excel 文件
     */ 
    public void process() throws IOException { 
        MissingRecordAwareHSSFListener listener = new MissingRecordAwareHSSFListener( 
                this); 
        formatListener = new FormatTrackingHSSFListener(listener); 
 
        HSSFEventFactory factory = new HSSFEventFactory(); 
        HSSFRequest request = new HSSFRequest(); 
 
        if (outputFormulaValues) { 
            request.addListenerForAllRecords(formatListener); 
        } else { 
            workbookBuildingListener = new SheetRecordCollectingListener( 
                    formatListener); 
            request.addListenerForAllRecords(workbookBuildingListener); 
        } 
 
        factory.processWorkbookEvents(request, fs); 
    } 
     
    /**
     * HSSFListener 监听方法，处理 Record
     */ 
    @SuppressWarnings("unchecked") 
    public void processRecord(Record record) { 
        int thisRow = -1; 
        int thisColumn = -1; 
        String thisStr = null; 
        String value = null; 
         
        switch (record.getSid()) { 
        case BoundSheetRecord.sid: 
            boundSheetRecords.add(record); 
            break; 
        case BOFRecord.sid: 
            BOFRecord br = (BOFRecord) record; 
            if (br.getType() == BOFRecord.TYPE_WORKSHEET) { 
                // Create sub workbook if required 
                if (workbookBuildingListener != null && stubWorkbook == null) { 
                    stubWorkbook = workbookBuildingListener 
                            .getStubHSSFWorkbook(); 
                } 
 
                // Works by ordering the BSRs by the location of 
                // their BOFRecords, and then knowing that we 
                // process BOFRecords in byte offset order 
                sheetIndex++; 
                if (orderedBSRs == null) { 
                    orderedBSRs = BoundSheetRecord 
                            .orderByBofPosition(boundSheetRecords); 
                } 
                sheetName = orderedBSRs[sheetIndex].getSheetname(); 
            } 
            break; 
 
        case SSTRecord.sid: 
            sstRecord = (SSTRecord) record; 
            break; 
 
        case BlankRecord.sid: 
            BlankRecord brec = (BlankRecord) record; 
 
            thisRow = brec.getRow(); 
            thisColumn = brec.getColumn(); 
            thisStr = ""; 
            break; 
        case BoolErrRecord.sid: 
            BoolErrRecord berec = (BoolErrRecord) record; 
 
            thisRow = berec.getRow(); 
            thisColumn = berec.getColumn(); 
            thisStr = ""; 
            break; 
 
        case FormulaRecord.sid: 
            FormulaRecord frec = (FormulaRecord) record; 
 
            thisRow = frec.getRow(); 
            thisColumn = frec.getColumn(); 
 
            if (outputFormulaValues) { 
                if (Double.isNaN(frec.getValue())) { 
                    // Formula result is a string 
                    // This is stored in the next record 
                    outputNextStringRecord = true; 
                    nextRow = frec.getRow(); 
                    nextColumn = frec.getColumn(); 
                } else { 
                    thisStr = formatListener.formatNumberDateCell(frec); 
                } 
            } else { 
                thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, 
                        frec.getParsedExpression()) + '"'; 
            } 
            break; 
        case StringRecord.sid: 
            if (outputNextStringRecord) { 
                // String for formula 
                StringRecord srec = (StringRecord) record; 
                thisStr = srec.getString(); 
                thisRow = nextRow; 
                thisColumn = nextColumn; 
                outputNextStringRecord = false; 
            } 
            break; 
 
        case LabelRecord.sid: 
            LabelRecord lrec = (LabelRecord) record; 
 
            curRow = thisRow = lrec.getRow(); 
            thisColumn = lrec.getColumn(); 
            value = lrec.getValue().trim(); 
            value = value.equals("")?" ":value; 
            this.rowlist.add(thisColumn, value); 
            break; 
        case LabelSSTRecord.sid: 
            LabelSSTRecord lsrec = (LabelSSTRecord) record; 
 
            curRow = thisRow = lsrec.getRow(); 
            thisColumn = lsrec.getColumn(); 
            if (sstRecord == null) { 
                rowlist.add(thisColumn, " "); 
            } else { 
                value =  sstRecord 
                .getString(lsrec.getSSTIndex()).toString().trim(); 
                value = value.equals("")?" ":value; 
                rowlist.add(thisColumn,value); 
            } 
            break; 
        case NoteRecord.sid: 
            NoteRecord nrec = (NoteRecord) record; 
 
            thisRow = nrec.getRow(); 
            thisColumn = nrec.getColumn(); 
            // TODO: Find object to match nrec.getShapeId() 
            thisStr = '"' + "(TODO)" + '"'; 
            break; 
        case NumberRecord.sid: 
            NumberRecord numrec = (NumberRecord) record; 
 
            curRow = thisRow = numrec.getRow(); 
            thisColumn = numrec.getColumn(); 
            value = formatListener.formatNumberDateCell(numrec).trim(); 
            value = value.equals("")?" ":value; 
            // Format 
            rowlist.add(thisColumn, value); 
            break; 
        case RKRecord.sid: 
            RKRecord rkrec = (RKRecord) record; 
 
            thisRow = rkrec.getRow(); 
            thisColumn = rkrec.getColumn(); 
            thisStr = '"' + "(TODO)" + '"'; 
            break; 
        default: 
            break; 
        } 
 
        // 遇到新行的操作 
        if (thisRow != -1 && thisRow != lastRowNumber) { 
            lastColumnNumber = -1; 
        } 
 
        // 空值的操作 
        if (record instanceof MissingCellDummyRecord) { 
            MissingCellDummyRecord mc = (MissingCellDummyRecord) record; 
            curRow = thisRow = mc.getRow(); 
            thisColumn = mc.getColumn(); 
            rowlist.add(thisColumn," "); 
        } 
 
        // 如果遇到能打印的东西，在这里打印 
        if (thisStr != null) { 
            if (thisColumn > 0) { 
                output.print(','); 
            } 
            output.print(thisStr); 
        } 
 
        // 更新行和列的值 
        if (thisRow > -1) 
            lastRowNumber = thisRow; 
        if (thisColumn > -1) 
            lastColumnNumber = thisColumn; 
 
        // 行结束时的操作 
        if (record instanceof LastCellOfRowDummyRecord) { 
            if (minColumns > 0) { 
                // 列值重新置空 
                if (lastColumnNumber == -1) { 
                    lastColumnNumber = 0; 
                } 
            } 
            // 行结束时， 调用 optRows() 方法 
            lastColumnNumber = -1; 
            try { 
                optRows(sheetIndex,curRow, rowlist); 
            } catch (SQLException e) { 
                e.printStackTrace(); 
            } 
            rowlist.clear(); 
        } 
    } 
} 

 

2、SPImportAction

package com.maomao.index;

import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.sql.SQLException; 
import java.util.ArrayList; 
import java.util.List; 
 
import net.hlj.cms.gnet.model.SPModel; 
import net.hlj.cms.gnet.service.SPImportService; 
import net.hlj.cms.gnet.service.imp.SPImportServiceImpl; 
import net.hlj.cms.gnet.util.HxlsAbstract; 
 
import org.springframework.context.ApplicationContext; 
import org.springframework.context.support.FileSystemXmlApplicationContext; 
 
/**
 * @项目名：保密
 * @包名：保密
 * @文件名：SPImportAction.java
 * @日期：Dec 23, 2010 3:54:16 PM
 * @备注：增值业务导入
 * @作者：apple
 */ 
public class SPImportAction extends HxlsAbstract{ 
 
    private static String fileName="增值业务(测试库).xls";//文件名 
    private static String path="D:\\net\\";//路径 
    private ApplicationContext ctx = new FileSystemXmlApplicationContext("/WebRoot/WEB-INF/applicationContext.xml");//spring 上下文 
    private SPImportService server=new SPImportServiceImpl();//接口 
    private static int count=0; 
    private static int successCount=0; 
    private static int failCount=0; 
    private static ArrayList errorList=new ArrayList(); 
    /**
     * @param args
     */ 
    public static void main(String[] args)  
    { 
        SPImportAction excel;//excel对象 
        try  
        { 
            excel=new SPImportAction(path+fileName); 
            excel.process(); 
            System.out.println("一共："+count+"条数据"); 
            System.out.println("成功："+successCount+"条数据"); 
            System.out.println("失败："+failCount+"条数据"); 
            for(int i=0;i<errorList.size();i++) 
            { 
                System.out.println("失败行数："+errorList.get(i)); 
            } 
        } catch (FileNotFoundException e) { 
            e.printStackTrace(); 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } catch (SQLException e) { 
            e.printStackTrace(); 
        } 
    } 
     
  @Override   
  public void optRows(int sheetIndex,int curRow, List<String> rowlist) throws SQLException  
  {    
      String row=""; 
      if(curRow>0) 
      { 
          if( rowlist.size()==8) 
          { 
              for (int i = 0 ;i< rowlist.size();i++){    
                  row+=rowlist.get(i)+","; 
              } 
              SPModel obj=new SPModel(); 
              obj.setPRODUCTID(rowlist.get(1)); 
              obj.setV_busiCode(rowlist.get(2)); 
              obj.setV_busiName(rowlist.get(4)); 
              obj.setV_busiDes(rowlist.get(5)); 
              obj.setEFFDATE(rowlist.get(6)); 
              obj.setEXPDATE(rowlist.get(7)); 
              if(rowlist.get(3).equals("4")) 
              { 
                  obj.setFlag("1"); 
              } 
              else 
              { 
                  obj.setFlag("0"); 
              } 
               
              if(server.isSP(obj, ctx)) 
              { 
                  int uflag=server.SPUpdate(obj, ctx); 
                  if(uflag>0) 
                  { 
                      successCount++; 
                      System.out.println("第"+rowlist.get(0)+"行数据修改成功"); 
                  } 
                  else 
                  { 
                      failCount++; 
                      System.out.println("第"+rowlist.get(0)+"行数据修改失败"); 
                      errorList.add(rowlist.get(0)); 
                  } 
              } 
              else 
              { 
                  int aflag=server.SPAdd(obj, ctx); 
                  if(aflag>0) 
                  { 
                      successCount++; 
                      System.out.println("第"+rowlist.get(0)+"行数据新增成功");  
                  } 
                  else 
                  { 
                      failCount++; 
                      System.out.println("第"+rowlist.get(0)+"行数据新增失败"); 
                      errorList.add(rowlist.get(0)); 
                  } 
              } 
              count++; 
              System.out.println(row.substring(0,row.length()-1));  
          } 
      } 
       
       
       
  }    
  public SPImportAction(String filename) throws IOException,FileNotFoundException, SQLException  
  {    
      super(filename);    
  }    
}

 

 

大城小爱寒冰
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java poi 导入大数据量Excel数据 防止内存溢出处理.zip
03-20
java 使用 poi 解析导入大数据量（几万数据量+）时，报出OOM。这是使用POI 第二种处理方法，解决大数据量导入内存溢出问题，并提升效率
poi 自己写的excel sax方式导入大量数据
04-22
poi 方式导入 大量excel数据，将excelDir目录下文件考入f盘即可测试 poi 方式导入 大量excel数据，将excelDir目录下文件考入f盘即可测试
基于easypoi实现的Excel数据批量导入
Ytker-一个简简单单的小博客
12-01 3637
SpringBoot，Excel导入，多线程，分组
Java实现百万级数据从Excel导入到数据库
最新发布
小徐的博客
01-21 2419
在一个后台管理功能中，Excel导入数据是不可缺少，但是当处理大数据量的Excel文件导入时候就可能会带来一些列的问题，本文我们会分析问题产生的原因。并提供解决方案以及完整的实现代码。
记录一次从15w条数据的excel导入到数据库优化过程（22秒到3秒）
你若为我繁华，我愿成你烟花
02-25 5901
记录一次15w数据的excel导入到数据库优化过程（22秒到3秒）
Spring Boot通过EasyExcel异步多线程实现大数据量Excel导入,百万数据30秒
竹林幽深
04-07 8357
定义的线程池相当于是8个核心线程，任务队列是无界队列。线程数也是要在最后测试的时候取一个合适的值。/***/@Bean// 设置核心线程数// 设置最大线程数，当核心线程数满了且队列满了，会创建新的线程，直到达到最大线程数。而当前队列是无界队列，所以不会满，此处设置无效。直接使用默认值，无限大// 设置队列容量,默认为Integer.MAX_VALUE// 设置线程活跃时间（秒）// 设置默认线程名称// 设置拒绝策略。无界队列不会出现满的情况，所以不配置存储策略。
Java实现excel大数据量导入
09-07
主要为大家详细介绍了Java实现excel大数据量导入，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
poi大量数据读取gc内存溢出解决方案
05-11
poi读取大量数据会造成gc内存溢出的报错,由于垃圾回收机制无法将大量的对象及时的回收,而这些对象又会保存在内存中,会导致内存不够用的情况,这时候我们就需要使用新的方法,读取为cvs即可.此解决方案可支持千万数据的...
利用poi把excel数据批量导入mysql
10-23
利用poi获取excel中大量数据，然后利用jdbc批量插入到mysql，直接运行main方法
Java POI 百万规模数据的导入和导出
weixin_49171365的博客
08-03 2687
Java POI 百万规模数据的导入和导出
java批量导入Excel数据
weixin_47962813的博客
05-22 2887
3.vue前端导入功能代码。2.1设置表格下拉选项。
如何使用excel批量导入数据到数据库？看这一篇就够了！超详细
热门推荐
酷酷的馫博客
08-10 2万+
使用excel向数据库批量添加数据
【Java】Excel百万级别数据的导入和导出【详细代码】
m0_64210833的博客
06-24 6113
Excel百万级别的数据导入和导出，包含代码和sql文件和相关视频链接，多多学习，百炼成钢。
数据库百万级数据量的导入导出（excel）
Ciao's blog
02-12 1370
数据库百万级数据量的导入导出（excel）
EasyPoi实现Excel数据导入
BroRiver
05-10 1044
EasyPoi是一个基于Java的Excel导入导出框架，主要提供了Excel读取、写入等基本功能，并且支持通过注解来定义Excel文件的格式。
poi导入excel大文件
Henry_rwy的专栏
08-23 748
excel大数据导入
easypoi实例及大批量插入数据库
qq_28326501的博客
08-06 2089
1、环境 springboot+mybatis+mysq 2、pom依赖导入 <!--easypoi--> <dependency> <groupId>cn.afterturn</groupId> <artifactId>easypoi-base</artifactId> <version>4.1....
java 大数据量 excel导入到mysql
06-07
当处理大量数据时，使用多线程可以提高导入效率。除此之外，还有一些其他的技巧可以帮助优化导入过程，下面是一些参考： 1. 使用批量插入：批量插入可以显著提高导入效率，因为它减少了和数据库的交互次数。可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值