java往csv文件中导出百万级数据

package com.hcycom.action;


import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.util.List;


import jxl.Workbook;
import jxl.write.WritableCellFormat;
import jxl.write.WritableFont;


import com.hcycom.bean.MonthValue;
import com.hcycom.page.page;
import com.hcycom.service.Data;


public class Excel {
//static String url = "/opt/apache-tomcat-6.0.37/file/";
static String url = "D:/opt/apache-tomcat-6.0.37/file/";
Data data;
public void setExcel(String leixing, String name,page pg) {
if ("excel".equals(leixing)) {
wenjian(pg, name);
}
if ("cvs".equals(leixing)||"plCSV".equals(leixing)) {
wenJianCsv(pg, name);
}
if ("txt".equals(leixing)) {
wenJianTxt(pg, name);
}
}
public void setExcelCSV(String name,List<MonthValue> list) {
wenJianPLCsv(list, name);
}
public void wenJianPLCsv(List<MonthValue> list, String name) {         //导出百万条数据name是文件名  list是数据
try {
File file = new File(url + name + ".csv");
if(!file.exists()){
System.out.println("创建文件!!!");
file.createNewFile();
}
writeFileContent(url + name + ".csv", list); //writeFileContent()这个方法是分批往csv文件中追加数据  ,下面注释掉的是一次性往csv文件中写 数据
/*FileOutputStream stream;// provides file access
OutputStreamWriter writer;// writes to the file
stream = new FileOutputStream(file);
writer = new OutputStreamWriter(stream, "gb2312");
for (int q = 0; q < list.size(); q++) {
writer.write(list.get(q).getAqi());
writer.write(list.get(q).getSO2());
writer.write("\r\n");
}
writer.close();
stream.close();*/
} catch (IOException e1) {
e1.printStackTrace();
} catch (Exception e) {
e.pri
  • 0
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Java处理千万级数据导出CSV可以使用以下步骤: 1. 读取数据:首先,需要从数据源(例如数据库)获取千万级数据。可以使用Java数据库连接技术(如JDBC)来连接到数据库,然后执行查询语句获取数据。如果数据存储在其他形式的文件,比如文本文件,可以使用Java文件读取类(如BufferedReader)来读取数据。 2. 创建CSV文件:接下来,需要创建一个CSV文件,以便将数据导出到其。可以使用Java文件操作类(如FileWriter)来创建和写入CSV文件。 3. 数据转换和写入CSV:对于每个数据条目,需要将其转换为CSV格式并写入到CSV文件。通常,CSV文件的每行代表一个数据记录,每个字段由逗号分隔。可以使用Java的字符串处理和分割方法来将数据转换为CSV格式。 4. 分批处理:由于要处理的数据量很大,可能会导致内存问题。为了解决这个问题,可以将数据分成较小的批次进行处理,然后将每个批次写入CSV文件。可以使用Java的集合框架(如List)来存储每个批次的数据。 5. 错误处理:在处理大量数据时,可能会遇到各种错误,如数据库连接错误、数据格式错误等。为了确保导出过程的稳定性和可靠性,需要在代码添加适当的错误处理机制,如异常捕获和日志记录。 6. 导出完成:最后,当所有数据都成功导出CSV文件后,需要关闭文件数据库连接以释放资源。 总而言之,使用Java处理千万级数据导出CSV需要读取数据、创建CSV文件数据转换和写入、分批处理、错误处理和导出完成等步骤。在处理大量数据时,需要注意内存控制和错误处理,以确保导出过程的成功。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值