iBatis中RowHandler处理大数据量的导出



ibatisRowHandler 大数据量导出

背景：一次性导出几十万条数据到excel，此时的导出效率会严重损失。

解决方法：用ibatis中的RowHandler，一次只处理一条数据，内存中只保持一条数据，导出时每5万条创建一个sheet

具体实现方法：

MyRowHandler处理类：

Java代码

 

1. import java.util.Map;  

2.   

3. import org.apache.poi.hssf.usermodel.HSSFCell;  

4. import org.apache.poi.hssf.usermodel.HSSFRichTextString;  

5. import org.apache.poi.hssf.usermodel.HSSFRow;  
6. import org.apache.poi.hssf.usermodel.HSSFSheet;  

7. import org.apache.poi.hssf.usermodel.HSSFWorkbook;  

8.   

9. import com.ibatis.sqlmap.client.event.RowHandler;  

10.   

11. public class MyRowHandler implements RowHandler {  
12.     HSSFWorkbook wb;  

13.     HSSFSheet sheet ;   

14.     HSSFRow row;  

15.     HSSFCell cell;  

16.     int dataNum=0;  

17.     int rowStart = 1;  

18.     @Override  

19.     public void handleRow(Object arg0){  

20.         dataNum++;  

21.         if(dataNum%50000==0){  

22.             //每5万条记录分页  

23.             setSheet();  

24.         }  

25.           

26.         Map map = (Map)arg0;  

27.         //在这里处理逻辑，插入数据到excel  

28.         System.out.println(map.get("key"));  

29.         System.out.println(map.get("value"));  

30.           

31.     }  

32.     public HSSFWorkbook getWb() {  

33.         return wb;  

34.     }  

35.     public void setWb(HSSFWorkbook wb) {  

36.         this.wb = wb;  

37.         setSheet();  

38.     }  

39.     public void setSheet(){  

40.         this.sheet= wb.createSheet();  

41.         rowStart = 1;  

42.         //写表头  
43.         writeHeader();  
44.     }  
45.     public void writeHeader(){  
46.         String[] header = {"ID","类型"};  
47.         row = sheet.createRow(0);  
48.         int n=0;  
49.         for (String  head : header) {  
50.             cell = row.createCell((short) n);  

51.             HSSFRichTextString str = new HSSFRichTextString(head);  

52.             cell.setCellValue(str);  

53.             n++;   
54.         }  

55.     }  

56.       

57. }  

 

 action中执行：

Java代码

 

1. public String execute(){  

2.           

3.         String fileName="F:\\05-JAVA\\测试.xls";  

4.         HSSFWorkbook wb = new HSSFWorkbook();  
5.         MyRowHandler handler = new MyRowHandler();  

6.         handler.setWb(wb);  

7.         DaoFactory.getIbatisDao().getSqlMapClientTemplate().queryWithRowHandler("term.base", handler);  
8.         wb = handler.getWb();  
9.           

10.         OutputStream os = null;  

11.         try {  

12.             os = new FileOutputStream(fileName);  

13.             wb.write(os);  

14.         }catch(Exception e){  

15.               

16.         }finally{  

17.             try {  

18.                 os.close();  
19.             } catch (IOException e) {  
20.                 e.printStackTrace();  
21.             }   
22.         }  
23.              return "success";  

24.     }  

 

源文档 <http://sdkd-tiger.iteye.com/blog/1469063>