java不通过创建文件的方式将CSV文件压缩成zip并导出下载

该博客介绍了如何在Java中创建一个通用的CSV数据导出到ZIP文件的过程,无需使用newFile创建临时文件。首先定义了一个`ExportObject`类来存储导出的文件信息,然后提供了组装导出参数的方法,最后通过字节数组流直接生成ZIP文件并返回HTTP响应,避免了在容器环境中使用文件系统的限制。
摘要由CSDN通过智能技术生成
**前言**:大佬说要让做zip文件的导入导出,要通用,并且因为是在容器中运行,所以不能通过new File创建文件的方式去创建csv文件和zip文件.

	**申明**:代码中有部分通过反射获取属性的部分可以忽略,实际情况看导出列是否固定,代码中因为考虑到数据库中的字段可能有变化,所以没有写死。 代码没有额外引入依赖。

第一步:创建文件导入导出对象

import java.util.List;

/**
 * @author zzq
 * @Date 2021-06-26 18:29
 * 文件导出对象
 */
public class ExportObject {

    /**
     * 导出第一行,即header  csv文件的第一行
     */
    private List<String> head;

    /**
     * 数据,需要与 head长度一致  csv文件的每一行数据
     */
    private List<Object> dataList;

    /**
     * 文件名 
     */
    private String fileName;

    /**
     * 文件后缀 
     */
    private String fileSuf;

    /**
     * 属性字段名  对象中的属性,通过反射获取
     */
    private List<String> fields;

    public List<String> getFields() {
        return fields;
    }

    public void setFields(List<String> fields) {
        this.fields = fields;
    }

    public List<String> getHead() {
        return head;
    }

    public void setHead(List<String> head) {
        this.head = head;
    }

    public List<Object> getDataList() {
        return dataList;
    }

    public void setDataList(List<Object> dataList) {
        this.dataList = dataList;
    }

    public String getFileName() {
        return fileName;
    }

    public void setFileName(String fileName) {
        this.fileName = fileName;
    }

    public String getFileSuf() {
        return fileSuf;
    }

    public void setFileSuf(String fileSuf) {
        this.fileSuf = fileSuf;
    }
}

第二步:导出对象组装

/**
     * 组装导出参数
     * @param dataList 需要导出的数据
     * @param obj   数据类型,用于获取表头,文件名
     * @param includeCol    导出需要的列
     * @return
     */
    public static ExportObject buildExportObject(List<Object> dataList,Class obj,List<String> includeCol){
        //表名从类注解获取
        Annotation annotation = obj.getAnnotation(Table.class);
        String name;
        if(annotation==null){
            name = obj.getTypeName();
        }else {
            Table table = (Table) annotation;
            name = table.name();
        }
        return buildExportObject(dataList,obj,includeCol,name,".csv");
    }

/**
     * 组装参数
     * @param dataList  数据列
     * @param obj   数据类属性
     * @param includeCol 导出列
     * @param fileName  导出文件名
     * @param fileSuf   导出文件后缀
     * @return
     */
    public static ExportObject buildExportObject(List<Object> dataList,Class obj,List<String> includeCol,String fileName,String fileSuf){
        ExportObject exportObject = new ExportObject();
        exportObject.setFileName(fileName);
        exportObject.setFileSuf(fileSuf);
        exportObject.setDataList(dataList);
        List<String> head = new ArrayList<>();
        Field[] fields = obj.getDeclaredFields();
        try {
            for (Field field : fields) {
                Column annotation = field.getAnnotation(Column.class);
                if(annotation==null){
                    continue;
                }
                String colName = annotation.name();
                if(!includeCol.contains(field.getName())){
                    continue;
                }
                head.add(colName);
            }
            exportObject.setHead(head);
            exportObject.setFields(includeCol);
            return exportObject;
        }catch (Exception e){
            log.error("buildExportObject_error,fileName={} exception={}",fileName,GsonUtil.toJsonStr(e));
        }
        return null;
    }

第三步:到了这一步,导出所需要的文件名,文件格式,还有需要导出的数据,导出列 都已经确定了,接下来就是通过流将数据保存

private Object exportData(List<ExportObject> exportObjects, String exportTaskName){

        if(CollectionUtils.isEmpty(exportObjects)){
            return ResponseEntity.of(Optional.of ("export data empty"));
        }

        ByteArrayOutputStream byteOutputStream  = null;
        ZipOutputStream zipOutputStream = null;
        byte[] bytes;
        try {
            
                byteOutputStream = new ByteArrayOutputStream();
                zipOutputStream = new ZipOutputStream(byteOutputStream, StandardCharsets.UTF_8);
                for (ExportObject exportObject : exportObjects) {
                    String export = FileUtils.export(exportObject);
                    //生成文件名等信息
                    ZipEntry zipEntry = new ZipEntry(exportObject.getFileName() + exportObject.getFileSuf());
                    zipOutputStream.putNextEntry(zipEntry);
                    //压缩到outputStream
                    zipOutputStream.write(new byte[]{(byte)0xEF, (byte)0xBB, (byte)0xBF});
                    zipOutputStream.write(export.getBytes(StandardCharsets.UTF_8));
                    zipOutputStream.closeEntry();
                }
                zipOutputStream.close();
            byteOutputStream.close();
                bytes = byteOutputStream.toByteArray();
            
            
        } catch (IOException e) {
            e.printStackTrace();
            log.warn(e,"zip压缩异常");
            throw  new HsjryException("500","zip压缩异常");
        }
        //输出
        DateFormat format = new SimpleDateFormat("yyyy-MM-dd_HH_mm");
        String format1 = format.format(new Date());
        String fieldName = "导出数据_"+format1+".zip";
        try {
            InputStream is = new ByteArrayInputStream(bytes);
            byteOutputStream.close();
            HttpHeaders headers  =  new HttpHeaders();
            headers.add("Cache-Control",  "no-cache,  no-store,  must-revalidate");
            headers.add("Content-Disposition",  String.format("attachment;  filename=\"%s\" ",  URLEncoder.encode(fieldName,"UTF-8")));
            headers.add("Pragma",  "no-cache");
            headers.add("Expires",  "0");
            return  ResponseEntity
                    .ok()
                    .headers(headers)
                    //.contentType(MediaType.parseMediaType("application/zip;charset=UTF-8"))
                    .contentType(MediaType.APPLICATION_OCTET_STREAM)
                    .body(new InputStreamResource(is));
        }catch (Exception e){
            log.error("data_export_error ,taskName:{},exportRequest:{}");
        }
        return ResponseEntity.of(Optional.of ("export error"));
    }

/**
     * 连接符
     */
    private static final String CONNECT_CHARACTER = ",";

    private static final String LINE_CHARACTER = "\r\n";


//此方法中的数据加解密可以不需要
public static String export(ExportObject exportObject) {
        try {
            StringBuilder builder = new StringBuilder();
            StringBuilder fileHead = new StringBuilder();
            for (String col : exportObject.getHead()) {
                fileHead.append(col).append(CONNECT_CHARACTER);
            }
            String headEncrypt = encryptToString(fileHead.toString());
            builder.append(headEncrypt);
            builder.append(LINE_CHARACTER);
            for (Object row : exportObject.getDataList()) {
                StringBuilder line = new StringBuilder();
                Map<String, Object> stringMap = GsonUtil.toObjectMap(row);
                for (String field : exportObject.getFields()) {
                    Object value = stringMap.get(field);
  //TENANT_ID,OPERATOR_ID 可以不需要,是因数字太长可能被转成科学计数法的属性,做的额外处理
                    if(Objects.equals(TENANT_ID,field) || Objects.equals(OPERATOR_ID,field)){
                        line.append("\t" +value+"\t").append(CONNECT_CHARACTER);
                    }else{
                        if(value!=null){
                            String str = value.toString();
                            //先判断字符里是否含有逗号
                            if(value instanceof String){
                                if(str.contains(",")){
                                    //如果还有双引号,先将双引号转义,避免两边加了双引号后转义错误
                                    if(str.contains("\"")){
                                        str=str.replace("\"", "\"\"");
                                    }
                                    //将逗号转义
                                    str="\""+str+"\"";
                                    line.append(str).append(CONNECT_CHARACTER);
                                }else if(isNumeric(str.trim())){
                                    //判断是否为纯数字,如果是的话可能会因为太长而现实显示为科学记数法
                                    line.append("\t" +value+"\t").append(CONNECT_CHARACTER);
                                }else{
                                    //其他格式字符串,正常写入
                                    line.append(value).append(CONNECT_CHARACTER);
                                }
                            }else {
                                line.append(value).append(CONNECT_CHARACTER);
                            }
                        }else {
                            line.append(value).append(CONNECT_CHARACTER);
                        }
                    }
                }
                //对数据加密
                String encryptString = encryptToString(line.toString());
                builder.append(encryptString);
                builder.append(LINE_CHARACTER);
            }
            return builder.toString();
        }catch (Exception e){
            log.error(e,"export#error");
            throw new HsjryException("500","生成csv内容异常");
        }
    }

第四步:示例

List<ExportObject> exportObjectList = new ArrayList<>();

        //1. expandVarList 为从数据库查询出来的数据
        ExportObject expandVarObject = FileUtils.buildExportObject(new ArrayList<>(list4), xxx.class, Arrays.asList(FileUtils.getExportFiled(xxx.class)));
        exportObjectList.add(expandVarObject);


     /**
     * 所有导出排除的列
     */
    private static final List<String> EXCLUDE_FIELD = new ArrayList<String>(){{
        add("serialVersionUID");
    }};

    public static String[] getExportFiled(Class clazz){
        String[] strings = new ArrayList<String>() {{
            List<String> collect = Arrays.stream(clazz.getDeclaredFields()).map(field -> {
                //排除所有带有@Id 的字段
                Id annotation = field.getAnnotation(Id.class);
                if (annotation == null) {
                    return field;
                }
                return null;
            }).filter(Objects::nonNull).map(Field::getName).filter(name -> !EXCLUDE_FIELD.contains(name)).collect(Collectors.toList());
            addAll(collect);
        }}.toArray(FIELD_ARRAY);

        return strings;
    }
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 使用java语言查询表数据并导出csv文件可以使用Java语言中提供的JDBC API和ResultSet类。首先,连接数据库,然后构建查询语句,接着使用ResultSet类检索查询结果,最后将结果写入CSV文件中。 ### 回答2: 使用Java语言查询表数据并导出CSV文件可以分为以下几个步骤: 1. 连接数据库:首先,需要在Java代码中连接到数据库。可以使用Java提供的JDBC(Java Database Connectivity) API来连接到各种类型的数据库,如MySQL、Oracle等。需要设置连接URL、用户名和密码等数据库连接信息。 2. 执行查询语句:通过使用Java的JDBC API,可以执行SQL查询语句从表中获取数据。可以使用预编译的语句来参数化查询语句,以便更安全和高效地执行查询操作。 3. 将查询结果写入CSV文件:在获取查询结果后,通过Java中的文件操作API,可以将查询结果写入CSV文件。可以使用Java中的File类和相关的输入/输出来创建、写入和关闭CSV文件。 4. CSV文件格式:CSV文件是以逗号分隔的文本文件,每行代表表中的一条数据记录,每个字段之间使用逗号分隔。可以使用Java中的字符串操作API来格式化数据并写入CSV文件中。 5. 异常处理:在代码中需要进行适当的异常处理,例如数据库连接失败、SQL语句执行错误或文件操作错误等。可以使用Java中的异常处理机制(try-catch-finally)来捕获和处理异常,并在出现异常时进行适当的处理,如记录日志或回滚事务。 总结起来,使用Java语言查询表数据并导出CSV文件,主要涉及到数据库连接、SQL查询、文件操作和异常处理等方面的知识。通过合理应用Java中的API和相关技术,可以实现对表数据的查询和导出操作,生成符合CSV格式的文件。 ### 回答3: 在使用Java语言查询表数据并导出CSV文件之前,首先需要使用Java数据库连接(JDBC)驱动连接到数据库。可以选择合适的JDBC驱动程序来连接不同类型的数据库,比如MySQL、Oracle等。 然后,通过编写Java代码来执行SQL查询语句来获取表中的数据。可以使用PreparedStatement或Statement对象来执行查询,并通过ResultSet对象来获取查询结果的数据。 接下来,需要将查询结果的数据按照CSV文件的格式进行处理,即将每一行数据转换为以逗号分隔的字段。可以使用StringBuilder或StringBuffer来构建CSV文件的内容。 最后,将CSV文件内容写入到磁盘上的文件中。可以使用FileWriter或BufferedWriter等类来实现文件的写入操作。在写入过程中,需要注意处理异常和关闭文件资源。 以下是一种可能的实现方式: 1. 导入JDBC驱动: ```java import java.sql.*; ``` 2. 连接到数据库: ```java String url = "jdbc:mysql://localhost:3306/数据库名"; String User = "用户名"; String Password = "密码"; Connection conn = null; try { conn = DriverManager.getConnection(url, user, password); } catch (SQLException e) { e.printStackTrace(); } ``` 3. 执行SQL查询语句并获取结果: ```java String sql = "SELECT * FROM 表名"; Statement stmt = null; ResultSet rs = null; try { stmt = conn.createStatement(); rs = stmt.executeQuery(sql); // 处理查询结果,将数据转换为CSV格式 StringBuilder csvContent = new StringBuilder(); ResultSetMetaData metaData = rs.getMetaData(); int columnCount = metaData.getColumnCount(); // 写入CSV列名 for (int i = 1; i <= columnCount; i++) { csvContent.append(metaData.getColumnLabel(i)); if (i < columnCount) { csvContent.append(","); } } csvContent.append("\n"); // 写入CSV数据 while (rs.next()) { for (int i = 1; i <= columnCount; i++) { csvContent.append(rs.getString(i)); if (i < columnCount) { csvContent.append(","); } } csvContent.append("\n"); } // 将CSV内容写入文件 String csvFilePath = "导出文件路径"; BufferedWriter writer = null; try { writer = new BufferedWriter(new FileWriter(csvFilePath)); writer.write(csvContent.toString()); } catch (IOException e) { e.printStackTrace(); } finally { if (writer != null) { try { writer.close(); } catch (IOException e) { e.printStackTrace(); } } } } catch (SQLException e) { e.printStackTrace(); } finally { try { if (rs != null) { rs.close(); } if (stmt != null) { stmt.close(); } if (conn != null) { conn.close(); } } catch (SQLException e) { e.printStackTrace(); } } ``` 以上代码示例展示了如何使用Java语言查询表数据并将其导出CSV文件。需要注意的是,代码中的数据库连接信息、SQL语句、导出文件路径等都需要根据实际情况进行修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值