既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
+ [3. 读取Excel文件存入数据库](#3_Excel_271)
+ [4. 删除临时文件](#4__273)
前言-应用场景
某系统在不同单位使用时存在两套生产环境,他们的数据不是互通的,所以这些单位的上一级领导部门在统计数据的时候希望将A系统的数据和附件信息导出到一个压缩包里,然后把这个压缩包一键导入到B系统,这样B系统就包含了全部的数据,上级领导就能看到全部的业务信息,便于统计分析。
一、导出ZIP包
1. 列表数据导出到本地excel文件
String path = profile + "/temp/" + DateUtils.dateTimeNow();
File file = new File(path);
if (file.mkdirs()) {
System.out.println("文件夹创建成功!创建后的文件目录为:" + file.getPath());
}
//1. 输出Excel文件
HSSFWorkbook workbook = new HSSFWorkbook();
HSSFSheet sheet = workbook.createSheet("sheet");
String fileName="XX数据导出.xls";
String savePath= file.getPath() + File.separator +fileName;
OutputStream os = new FileOutputStream(savePath);
//响应到客户端(即浏览器端直接弹出下载连接的方式)需要用response获取流
//this.setResponseHeader(response, filename);
//OutputStream os = response.getOutputStream();
List<HashMap> dataList = new ArrayList<>();
try{
// 表头
this.createExcelTitle(workbook, sheet);
// 查询条件
HashMap param = this.buildQueryParams(params);
dataList = shareRegisterMapper.shareList(param);
if (CollectionUtils.isEmpty(dataList)){
return;
}
this.dealAssetData(dataList, sheet);
// 处理子表数据
this.dealAssetDetailData(dataList,workbook);
workbook.write(os);
os.flush();
os.close();
}catch(Exception e) {
e.printStackTrace();
}finally {
if (os != null) {
os.flush();
os.close();
}
workbook.close();
}
2. 下载附件信息
在上一步生成的Excel文件路径下新建files文件夹,里面存放附件
public void downloadFile(List<HashMap> dataList) throws Exception {
String urlPrefix = request.getScheme() + "://" + request.getServerName() + ":" + request.getServerPort() + request.getContextPath();
String savePath = file.getPath() + File.separator + "/files";
OutputStream os = null;
InputStream is = null;
int i=0;
try {
for (HashMap data : dataList) {
if (data == null || data.get("FILES") == null){
continue;
}
List<ZsglFileEntity> entityList = new ArrayList<>();
String[] fileArray = data.get("FILES").toString().split(",");
List idList = Arrays.asList(fileArray);
entityList.addAll(fileMapper.selectByIds(idList));
if (CollectionUtils.isNotEmpty(entityList)){
for (ZsglFileEntity file : entityList){
if ( file.getFssFileId() == null){
continue;
}
String fileUrl = urlPrefix + "/fss/download/" + file.getFssFileId();
// 构造URL
URL url = new URL(fileUrl);
// 打开连接
URLConnection con = url.openConnection();
//设置请求超时为5s
con.setConnectTimeout(5 \* 1000);
// 输入流
is = con.getInputStream();
File tempFile = new File(savePath + "/"+file.getFileName());
// 校验文件夹目录是否存在,不存在就创建一个目录
if (!tempFile.getParentFile().exists()) {
tempFile.getParentFile().mkdirs();
}
os = new FileOutputStream(tempFile);
is = con.getInputStream();
con.getHeaderFields();
IOUtils.copy(is, os);
System.out.println("下载完成");
}
entityList.clear();
}
}
}catch (IOException e){
System.err.println(e);
}finally {
IOUtils.closeQuietly(is);
IOUtils.closeQuietly(os);
}
}
3. 生成压缩文件(浏览器下载)
response.setCharacterEncoding("UTF-8");
response.setContentType("multipart/form-data");
response.setHeader("content-disposition", "attachment;filename=" + "XX数据导出.zip");
ZipOutputStream zos = new ZipOutputStream(response.getOutputStream());
try {
File[] sourceFiles = file.listFiles();
if (null == sourceFiles || sourceFiles.length < 1) {
System.out.println("待压缩的文件目录:" + "里面不存在文件,无需压缩.");
} else {
for (int i = 0; i < sourceFiles.length;i++){
File srcFile = sourceFiles[i];
if (srcFile.isDirectory()){
File[] imageSourceFiles = srcFile.listFiles();
if (null == imageSourceFiles || imageSourceFiles.length < 1){
continue;
}
for (File imageFile : imageSourceFiles){
compress(zos,imageFile,srcFile.getName()+"/");
}
} else {
compress(zos,srcFile,"");
}
}
}
}catch (Exception e){
e.printStackTrace();
} finally {
//关闭流
try {
if(null != zos) {
zos.close();
}
} catch (IOException e){
e.printStackTrace();
}
}
其中的压缩方法如下:
public void compress(ZipOutputStream out,File sourceFile,String base) throws Exception
{
out.putNextEntry( new ZipEntry(base+sourceFile.getName()) );
FileInputStream fos = new FileInputStream(sourceFile);
BufferedInputStream bis = new BufferedInputStream(fos);
int tag;
System.out.println(base);
//将源文件写入到zip文件中
while((tag=bis.read())!=-1) {
out.write(tag);
out.flush();
}
out.closeEntry();
bis.close();
fos.close();
}
4. 删除临时目录
public void deleteDirectory(File file) {
File[] list = file.listFiles(); //无法做到list多层文件夹数据
if (list != null) {
for (File temp : list) { //先去递归删除子文件夹及子文件
deleteDirectory(temp); //注意这里是递归调用
}
}
if (!file.delete()) { //再删除自己本身的文件夹
logger.error("文件删除失败 : %s%n", file);
}
}
二、导入ZIP包
1. 上传zip包,解压到临时目录
这里开始想着在不解压的情况下读取里面的文件,结果没有走通。因为zip里面包含了子文件夹里面的附件信息需要解析。不解压直接解析文件适用于只需要解析zip包中第一层文件的场景,如果子文件夹下的文件也需要处理的话,最好解压后再处理。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
.(img-NaZNKFYt-1715085206495)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新