csv导出百万级数据

最新推荐文章于 2024-06-29 03:40:53 发布
最新推荐文章于 2024-06-29 03:40:53 发布
阅读量3.5k 收藏 9
点赞数
分类专栏： 工具包-随笔 文章标签： csv导出 springboot整合csv导出数据 Java使用csv导出数据 Java csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/good_luck10/article/details/96357662
版权

1：测试数据200多万，项目使用

2：csv工具类，我用的第一方法

package com.wptx.comm.config;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;

import javax.servlet.http.HttpServletResponse;

import org.apache.commons.beanutils.BeanUtils;
import org.apache.commons.lang3.StringUtils;

public class CSVUtils {
	
	private static CSVUtils csvUtils;
	
	public static CSVUtils getInstance() {
		if (csvUtils == null) {
			csvUtils = new CSVUtils();
		}
		return csvUtils;
	}
	
	 /**
	   * 生成为CVS文件 
	   * @param exportData 
	   *       源数据List 
	   * @param map 
	   *       csv文件的列表头map 
	   * @param outPutPath 
	   *       文件路径 
	   * @param fileName 
	   *       文件名称 
	   * @return 
	   */
	@SuppressWarnings({ "rawtypes","unused" })
	public static String createCSVFile(List exportData, LinkedHashMap map, String outPutPath, String fileName) {
		File csvFile = null;
		BufferedWriter csvFileOutputStream = null;
		String path = null;
		try {
			File file = new File(outPutPath);
			if (!file.exists()) {
				file.mkdirs();
			}
			// 定义文件名格式并创建  
			csvFile = File.createTempFile(fileName, ".csv", new File(outPutPath));
			path = csvFile.getCanonicalPath();
			// System.out.println(csvFile.getName());
			// System.out.println("csvFile：" + path);
			// UTF-8使正确读取分隔符","  osw.write(new String(new byte[] { (byte) 0xEF, (byte) 0xBB,(byte) 0xBF }));   
			// 如果生产文件乱码，windows下用gbk，linux用UTF-8
			csvFileOutputStream = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "UTF-8"), 1024);
			csvFileOutputStream.write('\ufeff');
			
			// 写入文件头部
			for (Iterator propertyIterator = map.entrySet().iterator(); propertyIterator.hasNext();) {
				java.util.Map.Entry propertyEntry = (java.util.Map.Entry) propertyIterator.next();
				csvFileOutputStream.write((String) propertyEntry.getValue() != null ? (String) propertyEntry.getValue() : "");
				
				if (propertyIterator.hasNext()) {
					csvFileOutputStream.write(",");
				}
			}
			
			csvFileOutputStream.newLine();
			
			// 写入文件内容  
			for (Iterator iterator = exportData.iterator(); iterator.hasNext();) {
				Object row = (Object) iterator.next();
				for (Iterator propertyIterator = map.entrySet().iterator(); propertyIterator.hasNext();) {
					java.util.Map.Entry propertyEntry = (java.util.Map.Entry) propertyIterator.next();
					// csvFileOutputStream.write((String) BeanUtils.getProperty(row, (String) propertyEntry.getValue() != null ? (String) propertyEntry.getValue() : ""));
					csvFileOutputStream.write((String) BeanUtils.getProperty(row, (String) propertyEntry.getKey()));
					
					if (propertyIterator.hasNext()) {
						csvFileOutputStream.write(",");
					}
				}
				
				if (iterator.hasNext()) {
					csvFileOutputStream.newLine();
				}
			}
			
			csvFileOutputStream.flush();
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			try {
				csvFileOutputStream.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		return csvFile.getName();
	}
		
//  /**
//   * 生成为CVS文件 
//   * @param exportData 
//   *       源数据List 
//   * @param map 
//   *       csv文件的列表头map 
//   * @param outPutPath 
//   *       文件路径 
//   * @param fileName 
//   *       文件名称 
//   * @return 
//   */
//	@SuppressWarnings({ "rawtypes","unused" })
//	public static String createCSVFile(List exportData, LinkedHashMap map, String outPutPath, String fileName) {
//		File csvFile = null;
//		BufferedWriter csvFileOutputStream = null;
//		String path = null;
//		try {
//			File file = new File(outPutPath);
//			if (!file.exists()) {
//				file.mkdir();
//			}
//			// 定义文件名格式并创建  
//			csvFile = File.createTempFile(fileName, ".csv", new File(outPutPath));
//			path = csvFile.getCanonicalPath();
			System.out.println(csvFile.getName());
			System.out.println("csvFile：" + path);
//			// UTF-8使正确读取分隔符","  osw.write(new String(new byte[] { (byte) 0xEF, (byte) 0xBB,(byte) 0xBF }));   
//			// 如果生产文件乱码，windows下用gbk，linux用UTF-8
//			// csvFileOutputStream = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "GBK"), 1024);
//			CsvWriter csvWriter = new CsvWriter(csvFile.getAbsolutePath(), ',', Charset.forName("UTF-8"));
//			// csvWriter.write(new String(new byte[] { (byte) 0xEF, (byte) 0xBB,(byte) 0xBF }));
//			String chatset = new String(new byte[] { (byte) 0xEF, (byte) 0xBB,(byte) 0xBF });
//			
//			String[] titleArray = new String[map.size()];
//			// 写入文件头部
//			int i = 0;
//			for (Iterator propertyIterator = map.entrySet().iterator(); propertyIterator.hasNext();) {
//				java.util.Map.Entry propertyEntry = (java.util.Map.Entry) propertyIterator.next();
//				// csvFileOutputStream.write('\ufeff');
//				// csvFileOutputStream.write((String) propertyEntry.getValue() != null ? (String) propertyEntry.getValue() : "");
//				// csvWriter.write((String) propertyEntry.getValue() != null ? (String) propertyEntry.getValue() : "");
//				if (i == 0) {
//					titleArray[i++] = (String) propertyEntry.getValue() != null ? chatset + (String) propertyEntry.getValue() : "";
//				}
//				else {
//					titleArray[i++] = (String) propertyEntry.getValue() != null ? (String) propertyEntry.getValue() : "";
//				}
//				
				if (propertyIterator.hasNext()) {
					// csvFileOutputStream.write(",");
					// csvWriter.write(",");
				}
//			}
//			
//			csvWriter.writeRecord(titleArray, true);
//			
//			
//			// csvFileOutputStream.newLine();
//			// csvWriter.write("\r\n");
//			
//			// 写入文件内容  
//			for (Iterator iterator = exportData.iterator(); iterator.hasNext();) {
//				Object row = (Object) iterator.next();
//				String[] datdaArray = new String[map.size()];
//				i = 0;
//				for (Iterator propertyIterator = map.entrySet().iterator(); propertyIterator.hasNext();) {
//					java.util.Map.Entry propertyEntry = (java.util.Map.Entry) propertyIterator.next();
//					// csvFileOutputStream.write('\ufeff');
//					// csvFileOutputStream.write((String) BeanUtils.getProperty(row, (String) propertyEntry.getKey()));
//					// csvWriter.write((String) BeanUtils.getProperty(row, (String) propertyEntry.getKey()));
//					datdaArray[i++] = (String) BeanUtils.getProperty(row, (String) propertyEntry.getKey());
//					
					if (propertyIterator.hasNext()) {
						// csvFileOutputStream.write(",");
						// csvWriter.write(",");
					}
//				}
//				
//				csvWriter.writeRecord(datdaArray, true);
//				
				if (iterator.hasNext()) {
					// csvFileOutputStream.newLine();
					// csvWriter.write("\r\n");
				}
//			}
//			
//			
//			// csvFileOutputStream.flush();
//			csvWriter.close();
//		} catch (Exception e) {
//			e.printStackTrace();
//		} finally {
			try {
				csvFileOutputStream.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
//		}
//		return csvFile.getName();
//	}

	/**
	 *  下载文件    
	 *  @param response     
	 *  @param csvFilePath   
	 *  文件路径    
	 *  @param fileName      
	 *   文件名称     
	 *  @throws IOException   
	 *  
	 */
	public static void exportFile(HttpServletResponse response, String csvFilePath, String fileName) throws IOException {
		response.setContentType("application/csv;charset=UTF-8");
		response.setHeader("Content-Disposition", "attachment; filename=" + URLEncoder.encode(fileName, "UTF-8"));

		InputStream in = null;
		try {
			in = new FileInputStream(csvFilePath);
			int len = 0;
			byte[] buffer = new byte[1024];
			response.setCharacterEncoding("UTF-8");
			OutputStream out = response.getOutputStream();
			while ((len = in.read(buffer)) > 0) {
				out.write(new byte[] { (byte) 0xEF, (byte) 0xBB, (byte) 0xBF });
				out.write(buffer, 0, len);
			}
		} catch (FileNotFoundException e) {
			//System.out.println(e);
		} finally {
			if (in != null) {
				in.close();
			}
		}
	}
	
	 /**
     * 生成csv文件之前特殊字符转义
     * @param str
     * @return
     */
    public static String csvString(String str){
    	str=str.toString().replaceAll("[/r/n]"," ");
        if(str.contains("-")){
            str = str.replace("\"","\"\"");
            str ="\"" + str + "\"";
        }
        return str;
    }
	 /** 
	   * 测试数据 
	   * @param args 
	   */ 
	@SuppressWarnings({ "rawtypes", "unchecked" }) 
	public static void main(String[] args) { 
			List exportData = new ArrayList<Map>(); 
			Map row1 = new LinkedHashMap<String, String>(); 
			row1.put("1", "11"); 
			row1.put("2", "12"); 
			row1.put("3", "13"); 
			row1.put("4", "14"); 
			exportData.add(row1); 
			row1 = new LinkedHashMap<String, String>(); 
			row1.put("1", "21"); 
			row1.put("2", "22"); 
			row1.put("3", "23"); 
			row1.put("4", "24萨范德萨费迪"); 
			exportData.add(row1); 
			
			LinkedHashMap map = new LinkedHashMap(); 
			//设置列名
			map.put("1", "第一列-名称"); 
			map.put("2", "第二列名称"); 
			map.put("3", "第三列名称"); 
			map.put("4", "第四列名称"); 
			//这个文件上传到路径，可以配置在数据库从数据库读取，这样方便一些！
			String path = "C:/wpapi/"; 
			
			//文件名=生产的文件名称+时间戳
			String fileName = "文件导出"; 
//			String createCSVFile = CSVUtils.createCSVFile(exportData, map, path, fileName); 
//			System.out.println("文件名称：" + createCSVFile);
			
			String str = "";
		//	System.out.println("aa===" + str.length());
		} 
}

3：业务层。我导出了19个字段。exportData：经过转化后的List集合。titleMap：表头。这两个数据的数字是相互对应了，剩余的两个参数是，导出的路径和文件名

        //查询需要导出的数据
		List<TaskStoreItemDTO> dataList = mapper.export(taskId);
		List<LinkedHashMap<String, String>> exportData = new ArrayList<LinkedHashMap<String, String>>();
		for(TaskStoreItemDTO tsd:dataList) {
			LinkedHashMap<String, String> row = new LinkedHashMap<String, String>();
			if(!_isNullOrEmpty(tsd.getTabNbr())) {
				row.put("1", tsd.getTabNbr());
			}else {
				row.put("1", "");
			}
			if(!_isNullOrEmpty(tsd.getRegionName())) {
				row.put("2", tsd.getRegionName());			
			}else {
				row.put("2", "");
			}
			if(!_isNullOrEmpty(tsd.getSmallRegionName())) {
				row.put("3", tsd.getSmallRegionName());
			}else {
				row.put("3", "");
			}
			if(!_isNullOrEmpty(tsd.getClubId())) {
				row.put("4", tsd.getClubId());
			}else {
				row.put("4", "");
			}
			if(!_isNullOrEmpty(tsd.getDeptNbr())) {
				row.put("5", tsd.getDeptNbr());
			}else {
				row.put("5", "");
			}
			if(!_isNullOrEmpty(tsd.getItemNbr())) {
				row.put("6", tsd.getItemNbr());
			}else {
				row.put("6", "");
			}
			if(!_isNullOrEmpty(tsd.getSerialNbr())) {
				row.put("7", tsd.getSerialNbr());
			}else {
				row.put("7", "");
			}
			if(!_isNullOrEmpty(tsd.getUpcNbr())) {
				row.put("8", tsd.getUpcNbr());
			}else {
				row.put("8", "");
			}
			if(!_isNullOrEmpty(tsd.getGoodsName())) {
				row.put("9", tsd.getGoodsName());
			}else {
				row.put("9", "");
			}
			if(!_isNullOrEmpty(tsd.getSalesType())) {
				row.put("10", tsd.getSalesType());
			}else {
				row.put("10", "");
			}
			if(!_isNullOrEmpty(tsd.getFixtureName())) {
				row.put("11", tsd.getFixtureName());
			}else {
				row.put("11", "");
			}
			if(!_isNullOrEmpty(tsd.getOperatorTime())) {
				row.put("12", new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(tsd.getOperatorTime()));
			}else {
				row.put("12","");
			}
			if(!_isNullOrEmpty(tsd.getHaveFeedbackStatus())) {
				if(tsd.getHaveFeedbackStatus()==0) {
					row.put("13", "否");
				}else {
					row.put("13", "是");
				}
			}else {
				row.put("13", "");
			}
			if(!_isNullOrEmpty(tsd.getFeedbackStatus())) {
				if(tsd.getFeedbackStatus()==0) {
					row.put("14", "未拍照");
				}else {
					row.put("14", "已拍照");
				}
			}else {
				row.put("14", "");
			}
			if(!_isNullOrEmpty(tsd.getOperateReasonContent())) {
				row.put("15", tsd.getOperateReasonContent());
			}else {
				row.put("15","");
			}
			if(!_isNullOrEmpty(tsd.getDisplayStatus())) {
				if(tsd.getDisplayStatus()==0) {
					row.put("16", "待分配");
				}
				if(tsd.getDisplayStatus()==1) {
					row.put("16", "未陈列");		
				}
				if(tsd.getDisplayStatus()==2) {
					row.put("16", "已陈列");
				}
				if(tsd.getDisplayStatus()==3) {
					row.put("16", "无法陈列");
				}
			}else {
				row.put("16", "");
			}
			if(!_isNullOrEmpty(tsd.getAuditStatus())) {
				if(tsd.getAuditStatus()==0) {
					row.put("17", "未提交审核");
				}
				if(tsd.getAuditStatus()==1) {
					row.put("17", "待审核");		
				}
				if(tsd.getAuditStatus()==2) {
					row.put("17", "已审核");
				}
			}else {
				row.put("17", "");
			}
			if(!_isNullOrEmpty(tsd.getSubmitHoro())) {
				if(tsd.getSubmitHoro()==0) {
					row.put("18", "否");
				}
				if(tsd.getSubmitHoro()==1) {
					row.put("18", "是");
				}
			}else {
				row.put("18", "");
			}
			if(!_isNullOrEmpty(tsd.getRemark())) {
				row.put("19", tsd.getRemark());
			}else {
				row.put("19", "");
			}
			exportData.add(row);
		}
		LinkedHashMap<String, String> titleMap = new LinkedHashMap<String, String>();
		titleMap.put("1", "档期");
		titleMap.put("2", "大区");
		titleMap.put("3", "小区");
		titleMap.put("4", "门店号");
		titleMap.put("5", "部门号");
		titleMap.put("6", "itemNbr");
		titleMap.put("7", "陈列序号");
		titleMap.put("8", "UPC");
		titleMap.put("9", "商品名称");
		titleMap.put("10", "促销类型");
		titleMap.put("11", "陈列类型");
		titleMap.put("12", "陈列时间");
		titleMap.put("13", "是否需要拍照");
		titleMap.put("14", "是否已拍照");
		titleMap.put("15", "无法执行原因");
		titleMap.put("16", "商品状态");
		titleMap.put("17", "审核状态");
		titleMap.put("18", "是否提交总部");
		titleMap.put("19", "备注");
		//导出的路径
		String filePath=serviceConfig.getExportFeedbackPath();
		//导出的文件名称
		String filename="商品陈列清单";
		
		String newFilePath = CSVUtils.getInstance().createCSVFile(exportData, titleMap, filePath, filename);

 

 

 

King_国王
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java往csv文件中导出百万级数据
IT_xiaocao的博客
03-22 2万+
package com.hcycom.action; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.Inp
Java使用csv导出大批量数据（二）
UndefineOrNull的博客
12-02 1352
Java使用csv导出大批量数据
Java导出千万级大数据到CSV文件
qq_41577650的博客
05-11 1027
在实际应用中，我们经常需要从数据库中导出大量数据到CSV文件。如果数据量很大，一次性加载所有数据可能会导致内存溢出或者性能问题。为了解决这个问题，我们可以使用流式查询的方式逐行读取数据库，并将数据写入CSV文件，从而减少内存占用并提高性能。本文将介绍如何使用Java实现这一功能，并给出详细的代码示例。
java导出百万级数据怎么实现
最新发布
weixin_32950759的博客
06-29 49
实现Java导出百万级数据 在实际开发中，经常会遇到需要导出大量数据的场景，比如导出百万级数据到Excel或者CSV文件。在这篇文章中，我们将介绍如何使用Java来实现导出百万级数据的功能。 数据导出流程 首先，让我们来看一下数据导出的流程： #render_12_2722398455-svg{font-family:"t...
java csv大数据量导出(千万级别，不会内存溢出)
11-19
java csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
java实战：实现百万级数据导出
oandy0的博客
02-18 1853
本文将介绍如何使用Java实现百万级数据导出，同时考虑内存、CPU等性能指标。我们将探讨数据导出的基本流程，并展示一个简单的Java代码示例，该示例使用JDBC和数据库连接池来高效地处理大规模数据导出，并采用分页查询和资源管理等策略来优化性能。通过本文，可以了解到如何在Java应用程序中实现高效的数据导出，并确保系统资源的合理使用。
java通过CSV文本格式来导出千万级大数据
u012209894的专栏
05-17 3267
JAVA导出文本、mvn打包拒绝访问 NOT all named parameters have been set java.lang.object无法转换成java.lang.string
excel/csv导出百万级数据设计思路
thunder-1
10-02 1313
1、业务场景 业务部门因为运营的需要经常需要导出大量的数据，为了避免导出数据无反应，通常采用分页导出的方法，但是对于百万级数据，业务部门需要下载几百次，再把数据合并起来极为不便，因此就产生了导出百万级数据的需求。 2、开发百万级导出数据遇到的问题 1、数据量太大导致内存溢出 2、导出时间过长，一直等待 3、网络不稳定需要重新导 4、Excel2007开始的版本最大行数是1048576行 都限制了百...
java实现csv导出千万级数据实例
07-31
本实例聚焦于“java实现csv导出千万级数据实例”，旨在提供一个高效、稳定的解决方案，避免因数据量过大而导致的性能问题，如Java中的栈溢出（Stack Overflow）。CSV（Comma Separated Values）格式因其简单、通用性...
Excel导出百万级数据
09-14
下面是一个使用EPPlus库批量导出数据到Excel的示例代码片段： ```csharp using OfficeOpenXml; // 假设我们有一个包含百万级数据的DataTable DataTable dataTable = GetData(); // 创建Excel包 using (var ...
java多线程导出excel（千万级别）优化
12-05
轻松解决普通poi形式导出Excel的中出现的栈溢出问题，此资源可实现千万级数据分批导出csv文件，csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
java导出100万以上excel大数据样例
07-30
java导出excel大数据，由于excel本身sheet页存储条数的限制，方案一般有：1、导出多个excel，然后将多个excel压缩为zip包，导出；2、导出可以通过excel打开的文本文件；3、导出csv文件（简单格式的）。 本样例以导出可以打开为excel的文本文件为例，来实现导出大数据的excel，结合stringtemplate模板引擎库，可以避免内存溢出，提高生成效率，理论上生成100万行的数据，用时30-60s。
批量导出CVS-千万级数据处理
11-05
采用POI、JXL框架导出CVS文件，支持千万级数据导出，无内存溢出，自己项目中使用中。
C#百万数据导出Demo
10-07
本文将深入探讨如何在C#环境中高效地处理百万级别的数据导出，并结合“C#百万数据导出Demo”进行详细解析。 首先，我们需要了解Excel文件的存储格式。通常，我们使用的Excel文件有两种主要格式：.xls（Excel 97-...
csv导出大量数据
05-18
本篇文章将深入探讨CSV导出大量数据的相关知识点。 1. CSV文件结构 CSV文件的基本结构非常简单，每一行代表一个记录，每列数据由逗号分隔。列的顺序和名称通常在文件的第一行作为表头。例如： ``` 姓名,年龄,城市 ...
java 导出百万条数据代码
05-19
对于CSV导出，可以使用Java的`PrintWriter`类配合`BufferedReader`从结果集中逐行读取数据并写入文件： ```java PrintWriter writer = new PrintWriter(new FileWriter("output.csv")); while (rs.next()) { for ...
使用mybatis的流式查询进行大数据量的导出csv文件
大白的成长之路
08-24 2933
前提： 1.要进行百万级数据的导出 2.导出格式为csv文件 首先需要导入依赖 <!-- https://mvnrepository.com/artifact/net.sourceforge.javacsv/javacsv --> <dependency> <groupId>net.sourceforge.javacsv</groupId> <artifactId>ja
java csv导出百万级数据
04-29
Java作为一种适用于各种平台和应用的编程语言，可以灵活地处理海量数据。要导出数百万行CSV数据，可以考虑使用以下方法： 1.使用Java内置的CSV解析和写入库，如OpenCSV和Apache Commons CSV。这些库提供了方便的API和方法，可以自动生成包含大量数据的CSV文件。 2.使用Java并发编程技术，例如使用线程池和多线程处理，以加快CSV数据的导出速度。分批读取并导出大量数据可以提高效率。 3.针对导出过程，一个重要的因素是数据的I/O速度，因此可以使用原始的Java I/O API或封装在Apache Commons IO中的更高级的I/O接口，如BufferedReader和BufferedWriter。 4.内存管理也是一个重要的问题，因为导出大量数据时，Java虚拟机可能会出现内存泄漏或性能问题。因此，建议在导出时对内存使用情况进行监控和优化，并在必要时使用垃圾回收技术来释放内存。 综上所述，导出百万级数据需要使用高效和可扩展的Java编程技术，以最大限度地减少导出时间和内存使用。在实际应用中，还需要根据具体情况进行适当的优化和测试验证，以确保导出的数据质量和正确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值