1、大数据量情况下导出csv格式文件,一般使用多线程分批读取到内存中,这样可以避免OOM情况,同时也可以使用消息队列方式,这样也可以实现数据削峰读取,本文主要是记录核心的导出CSV功能,架构没有在此文中实现
2、csv导出核心代码
String tableName = o.toString();
String path = System.getProperty("user.dir") + "\\res\\";
int pageNum = 1;
int listSize = pageSize;
// 批量写入数据
List<String[]> rows = new ArrayList<>();
// 创建 CSV 文件写入器
CsvWriter writer = new CsvWriter(path + tableName + PublicVariables.CSV_FORMAT, CharsetUtil.CHARSET_UTF_8);
try {
while (listSize >= pageSize) {
PageHelper.startPage(pageNum, pageSize);
List<LinkedHashMap<String, Object>> list = environmentApiMapper.selectTaskDataInfo(tableName, pageSize);
String[] columnNames;
if (pageNum == 1 && !CollectionUtils.isEmpty(list)) {
LinkedHashMap<String, Object> firstData = list.get(0);
columnNames = firstData.entrySet().stream()
.map(entry -> entry.getKey())
.toArray(String[]::new);
if (columnNames.length <= 0) {
return;
}
// 写入表头
writer.write(columnNames);
}
for (LinkedHashMap<String, Object> data : list) {
String[] row = data.entrySet().stream()
.map(entry -> "" + entry.getValue())
.toArray(String[]::new);
rows.add(row);
}
listSize = list.size();
pageNum++;
}
writer.write(rows);
} finally {
// 关闭文件写入器
writer.close();
}