java 读取和写入csv文件 （自动提取和转换成对象数据）

最新推荐文章于 2024-10-09 16:36:48 发布
最新推荐文章于 2024-10-09 16:36:48 发布
阅读量1.1w 收藏 28
点赞数 7
分类专栏： java 文章标签： java csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y1230601/article/details/84937134
版权

1.CSV介绍

逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。

2.maven依赖

    <dependency>
		<groupId>org.apache.commons</groupId>
		<artifactId>commons-csv</artifactId>
		<version>1.5</version>
    </dependency>

3.写csv

会自动根据注解识别objectList中的对象值，插入fileHeader对应的列中。objectList中的对象属性上的注解名称一定要对应 fileHeader中的名字。要不然匹配不上，获取不到数据

/**
     * 写csv文件 (一次性写  数据不宜过大)
     *
     * @param objectList  对象
     * @param fileHeader  头说明
     * @param fileName    文件名称(不要后缀.csv)
     * @return File 文件
     * @throws BizException 异常
     */
    public static File writeCsv(List<Object> objectList, String[] fileHeader, String fileName) {
        // 这里显式地配置一下CSV文件的Header，然后设置跳过Header（要不然读的时候会把头也当成一条记录）
        CSVFormat format = CSVFormat.DEFAULT.withHeader(fileHeader).withRecordSeparator("\n");
        // 这个是定位   判断某个字段的数据应该放在records数组中的那个位子
        Map<String, Integer> map = Maps.newHashMap();
        for (int i = 0; i < fileHeader.length; i++) {
            map.put(fileHeader[i], i);
        }
        File csvFile = new File(fileName);
        try {
            // 获取对象的PropertyDescriptor
            Map<String, PropertyDescriptor> descriptorMap = null;
            // 附加
            BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "UTF-8"));
            CSVPrinter printer = new CSVPrinter(bw, format);
            for (Object object : objectList) {
                if(CheckUtils.isEmpty(descriptorMap)){
                    descriptorMap = CsvUtils.getCsvFieldMapPropertyDescriptor(object.getClass());
                }
                String[] records = new String[fileHeader.length];
                for (Map.Entry<String, Integer> stringIntegerEntry : map.entrySet()) {
                    if (descriptorMap.containsKey(stringIntegerEntry.getKey())) {
                        records[map.get(stringIntegerEntry.getKey())] = (String) descriptorMap.get(stringIntegerEntry.getKey()).getReadMethod().invoke(object);
                    }
                }
                printer.printRecord(Arrays.asList(records));
            }
            bw.flush();
            bw.close();
            printer.close();
        } catch (Exception e) {
            logger.error("CsvUtils.writeCsv,写csv文件失败,message:{}", e.getMessage(), e);
            throw new BizException();
        }
        return csvFile;
    }

4.读取csv

同理可以自动根据注解转换成对象

/**
     * 读取csv文件  (一次性读取文件不宜过大)
     *
     * @param filePath 文件路径
     * @param headers  csv列头
     * @param tClass   返回对象的类型
     * @return CSVRecord 列表
     * @throws BizException 异常
     **/
    public static <T> List<T> readCSV(String filePath, String[] headers, Class<T> tClass) {
        //创建CSVFormat
        CSVFormat format = CSVFormat.DEFAULT.withHeader(headers);
        // 获取对象的PropertyDescriptor
        List<T> tList = new ArrayList<>();
        try {
            Map<String, PropertyDescriptor> descriptorMap = CsvUtils.getCsvFieldMapPropertyDescriptor(tClass);
            FileReader fileReader = new FileReader(filePath);
            //创建CSVParser对象
            CSVParser parser = new CSVParser(fileReader, format);
            Map<String, Integer> map = parser.getHeaderMap();
            for (CSVRecord record : parser) {
                T t = tClass.newInstance();
                for (Map.Entry<String, Integer> stringIntegerEntry : map.entrySet()) {
                    if (descriptorMap.containsKey(stringIntegerEntry.getKey()) && record.size() > stringIntegerEntry.getValue()) {
                        descriptorMap.get(stringIntegerEntry.getKey()).getWriteMethod().invoke(t, record.get(stringIntegerEntry.getValue()));
                    }
                }
                tList.add(t);
            }
            parser.close();
            fileReader.close();
        } catch (Exception e) {
            logger.error("CsvUtils.readCSV,读取csv文件,message:{}", e.getMessage(), e);
            throw new BizException();
        }
        return tList;
    }

5.测试

public static void main(String[] args) throws Exception {
        String[] fileHeader = {"name", "sex"};
        // 测试写
        List<Object> list = new ArrayList<>();
        for (int i = 0; i < 1000000; i++) {
            MsgResponse msgResponse = new MsgResponse();
            msgResponse.setCode("姓名44444888");
            msgResponse.setMsg("性别44444488");
            list.add(msgResponse);
        }
        long writeTimeStart = System.currentTimeMillis();
        CsvUtils.writeCsv(list, fileHeader, "d:\\workbook.csv");
        logger.info("写入时间：" + (System.currentTimeMillis() - writeTimeStart));
//        测试读
        long readTimeStart = System.currentTimeMillis();
        List<MsgResponse> m = CsvUtils.readCSV("d:\\workbook.csv", fileHeader, MsgResponse.class);
        logger.info("读取时间：" + (System.currentTimeMillis() - readTimeStart));
//        for (MsgResponse msgResponse : m) {
//            logger.info(msgResponse.getCode() + "               " + msgResponse.getMsg());
//        }
    }

结果
生成的csv用excel打开可能会有编码问题，转一下就好了，或者使用文本工具打开就好了

14:46:05.847 [main] INFO CsvUtils.class - 写入时间：593
14:46:07.237 [main] INFO CsvUtils.class - 读取时间：1390

Process finished with exit code 0

文件大概30M左右
csdn源码下载 && 百度云下载直达
完整源码 除了那个注解类 里面就是一个 name字段

package com.store.common.utils;

import com.google.common.collect.Maps;
import com.store.common.annotation.CsvField;
import com.store.common.exception.BizException;
import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVPrinter;
import org.apache.commons.csv.CSVRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.beans.BeanInfo;
import java.beans.Introspector;
import java.beans.PropertyDescriptor;
import java.io.*;
import java.lang.reflect.Field;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.Map;

/**
 * csv文件读写工具类
 *
 * @author by YangLD
 * @date 2018/7/10
 */
public class CsvUtils {

    private static final Logger logger = LoggerFactory.getLogger("CsvUtils.class");

    /**
     * 写csv文件 (一次性写  数据不宜过大)
     *
     * @param objectList  对象
     * @param fileHeader  头说明
     * @param fileName    文件名称(不要后缀.csv)
     * @return File 文件
     * @throws BizException 异常
     */
    public static File writeCsv(List<Object> objectList, String[] fileHeader, String fileName) {
        // 这里显式地配置一下CSV文件的Header，然后设置跳过Header（要不然读的时候会把头也当成一条记录）
        CSVFormat format = CSVFormat.DEFAULT.withHeader(fileHeader).withRecordSeparator("\n");
        // 这个是定位   判断某个字段的数据应该放在records数组中的那个位子
        Map<String, Integer> map = Maps.newHashMap();
        for (int i = 0; i < fileHeader.length; i++) {
            map.put(fileHeader[i], i);
        }
        File csvFile = new File(fileName);
        try {
            // 获取对象的PropertyDescriptor
            Map<String, PropertyDescriptor> descriptorMap = null;
            // 附加
            BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "UTF-8"));
            CSVPrinter printer = new CSVPrinter(bw, format);
            for (Object object : objectList) {
                if(CheckUtils.isEmpty(descriptorMap)){
                    descriptorMap = CsvUtils.getCsvFieldMapPropertyDescriptor(object.getClass());
                }
                String[] records = new String[fileHeader.length];
                for (Map.Entry<String, Integer> stringIntegerEntry : map.entrySet()) {
                    if (descriptorMap.containsKey(stringIntegerEntry.getKey())) {
                        records[map.get(stringIntegerEntry.getKey())] = (String) descriptorMap.get(stringIntegerEntry.getKey()).getReadMethod().invoke(object);
                    }
                }
                printer.printRecord(Arrays.asList(records));
            }
            bw.flush();
            bw.close();
            printer.close();
        } catch (Exception e) {
            logger.error("CsvUtils.writeCsv,写csv文件失败,message:{}", e.getMessage(), e);
            throw new BizException();
        }
        return csvFile;
    }

    /**
     * 获取对应对象中包含CsvCsvField字段的 PropertyDescriptor
     *
     * @param tClass 对象的class
     * @return Map
     * @throws Exception 异常
     */
    public static Map<String, PropertyDescriptor> getCsvFieldMapPropertyDescriptor(Class tClass) throws Exception {
        Map<String, PropertyDescriptor> descriptorMap = Maps.newHashMap();
        BeanInfo beanInfo = Introspector.getBeanInfo(tClass);
        PropertyDescriptor[] propertyDescriptors = beanInfo.getPropertyDescriptors();
        for (PropertyDescriptor propertyDescriptor : propertyDescriptors) {
            // 获取该字段赋值过来的  字段名称
            if (propertyDescriptor.getWriteMethod() == null) {
                continue;
            }
            Field field = tClass.getDeclaredField(propertyDescriptor.getName());
            CsvField csvField = field.getAnnotation(CsvField.class);
            if (csvField == null) {
                continue;
            }
            String fieldMetaName = csvField.name();
            if (CheckUtils.isEmpty(fieldMetaName)) {
                continue;
            }
            descriptorMap.put(fieldMetaName, propertyDescriptor);
        }
        return descriptorMap;
    }

    /**
     * 读取csv文件  (一次性读取文件不宜过大)
     *
     * @param filePath 文件路径
     * @param headers  csv列头
     * @param tClass   返回对象的类型
     * @return CSVRecord 列表
     * @throws BizException 异常
     **/
    public static <T> List<T> readCSV(String filePath, String[] headers, Class<T> tClass) {
        //创建CSVFormat
        CSVFormat format = CSVFormat.DEFAULT.withHeader(headers);
        // 获取对象的PropertyDescriptor
        List<T> tList = new ArrayList<>();
        try {
            Map<String, PropertyDescriptor> descriptorMap = CsvUtils.getCsvFieldMapPropertyDescriptor(tClass);
            InputStreamReader inputStreamReader = new InputStreamReader(new FileInputStream(filePath),"UTF-8");
            //创建CSVParser对象
            CSVParser parser = new CSVParser(inputStreamReader, format);
            Map<String, Integer> map = parser.getHeaderMap();
            for (CSVRecord record : parser) {
                T t = tClass.newInstance();
                for (Map.Entry<String, Integer> stringIntegerEntry : map.entrySet()) {
                    if (descriptorMap.containsKey(stringIntegerEntry.getKey()) && record.size() > stringIntegerEntry.getValue()) {
                        descriptorMap.get(stringIntegerEntry.getKey()).getWriteMethod().invoke(t, record.get(stringIntegerEntry.getValue()));
                    }
                }
                tList.add(t);
            }
            parser.close();
            inputStreamReader.close();
        } catch (Exception e) {
            logger.error("CsvUtils.readCSV,读取csv文件,message:{}", e.getMessage(), e);
            throw new BizException();
        }
        return tList;
    }


    public static void main(String[] args) throws Exception {
        String[] fileHeader = {"姓名","年龄"};
        // 测试写
        List<Object> list = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            list.add(new TargetObject("姓名"+i,""+i+100));
        }
        long writeTimeStart = System.currentTimeMillis();
        CsvUtils.writeCsv(list, fileHeader, "d:\\write.csv");
        logger.info("写入时间：" + (System.currentTimeMillis() - writeTimeStart));
//        测试读
        long readTimeStart = System.currentTimeMillis();
        List<TargetObject> targetObjectList = CsvUtils.readCSV("d:\\write.csv", fileHeader, TargetObject.class);
        logger.info("读取时间：" + (System.currentTimeMillis() - readTimeStart));
        for (TargetObject targetObject : targetObjectList) {
            System.out.println(targetObject.getName()  + "： " + targetObject.getAge());
        }
    }


    /** 目标对象 */
    public static class TargetObject{

        public TargetObject() {
        }

        public TargetObject(String name, String age) {
            this.name = name;
            this.age = age;
        }

        @CsvField(name = "姓名")
        private String name;
        @CsvField(name = "年龄")
        private String age;

        public String getAge() {
            return age;
        }

        public void setAge(String age) {
            this.age = age;
        }

        public String getName() {
            return name;
        }

        public void setName(String name) {
            this.name = name;
        }
    }
}
本人比较懒
关注
专栏目录
java操作csv文档通用工具类
Rodge的博客
12-25 6014
package cn.com.test.annotation; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; /** ...
JAVA读取csv文件,写入excel
manhengwei
03-01 1410
从数据库查到数据,导出来为csv文件,写入指定格式的excel文件,按照某字段分组,将每组数据分别写入对应的sheet中,sheet名称为某字段名称。
Java将内容写入到csv文件中
戚小柒日常技术栈积累
03-22 6747
可在工程中直接新建一个class文件，将下列代码直接拷入运行测试即可 注意:首先需要在pom文件中引入opencsv的jar包 <!-- csv --> <dependency> <groupId>com.opencsv</groupId> <artifactId>opencsv</artifactId> <version>4.6</version> </dependency> pa.
CSV文件
最新发布
a18861856219的博客
10-09 878
CSV文件，全称“逗号分隔值”（Comma-Separated Values）文件，是一种常见的文本文件格式，用于存储和交换表格数据。
java 读取和写入csv文件 （自动提取和转换成对象数据）-附件资源
03-05
java 读取和写入csv文件 （自动提取和转换成对象数据）-附件资源
java利用做的csv文件解析为list对象
diguan8895的博客
08-20 743
import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.lang.reflect.Field; import java.util.ArrayList; import java.util.List; public class ...
java将后缀为csv文件解析为对象
weixin_41550330的博客
07-20 155
Java解析CSV文件为对象 作为一名经验丰富的开发者，我很高兴能帮助你学会如何使用Java将后缀为csv的文件解析为对象。这个过程可以分为几个步骤，我会详细解释每一步，并提供代码示例。 步骤流程 以下是整个流程的步骤，以及每个步骤需要完成的任务： 步骤 任务 1 准备环境 2 创建CSV文件的模型类 ...
Java写入csv文件
weixin_44385360的博客
05-31 2335
最后：如果有帮助请帮忙点赞收藏，如果有问题欢迎留言。
java写CSV文件
深入浅出讲透复杂深奥的问题
04-23 230
import java.util.*; import java.io.File; import java.io.IOException; import java.lang.String; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.OutputStreamWriter; impor...
读取和写入csv文件
07-05
本篇将详细介绍如何读取和写入CSV文件，并结合提供的"FastCSV-master"压缩包文件进行相关知识讲解。 首先，CSV文件的结构非常直观，每一行代表一条记录，每条记录的数据以逗号分隔。这种格式使得CSV文件可以轻松...
CSV文件数据抽取
12-24
在本场景中，“CSV文件数据抽取”是指从CSV文件中提取出特定的、有价值的信息，并将其保存到TXT文件中，以便于MATLAB进行进一步的分析和处理。TXT文件由于其简洁的文本格式，通常被用作数据导入和导出的便捷工具。 ...
java读取csv文件并将读取的数据写入新生成的csv文件
12-01
在我们需求中需要读取一个csv文件的数据，但是只有旧的csv的几列数据再新写入一个csv文件，而且在旧的数据有空的数据，需要判断旧的csv的空值。可能写的存在不完善！但是应用的需求里面还是能用的
java写csv文件
金银之恋
05-28 130
[code="java"]package com.jynine; import java.io.File; import java.io.FileOutputStream; import java.io.FileWriter; import java.io.IOException; import java.io.OutputStreamWriter; import java.uti...
JAVA写CSV文件
热门推荐
王浩的技术博客
07-14 1万+
java写csv文件，通过文件输出流和第三方工具库opencsv两种方式。
java向csv文件写入数据
Alkali!的博客
03-22 1352
【代码】java向csv文件写入数据。
使用java，对csv操作，读成List集成对象，要写出实体和方法，并有main方法调用该方法，该csv表头如下 source,source_ip,source_port,source_user,s
wuchongyong的博客
07-10 444
请将"path/to/your/csv/file.csv"替换为你实际的CSV文件路径。上述代码使用了OpenCSV库来读取CSV文件，并将每一行数据转换为Data对象，最后将所有Data对象存储在List集合中。可以使用Java的CSV库来读取CSV文件并将其转换为List集合。
Java实现对csv文件的读写（IO流）
wkw147的博客
11-19 1992
面向考试编程，了解如何使用Java读取csv文件，学习对csv文件数据的操作
Java读取csv文件并将数据放入对象中
爱学习i的博客
03-31 2117
读取csv文件并封装数据为对象 例如图中的一个 .csv 文件，需要读取数据封装对象进行数据持久化。 public static void readCSV(String readpath, ArrayList list) { File inFile = new File(readpath); try { BufferedReader reader = new BufferedReader(new FileReader(inFile)); boolea
Java实现的Excel与CSV文件转换工具
该工具的主要应用领域包括数据处理、文件格式转换和数据分析等。在这个过程中，涉及到的Java编程知识点主要有文件输入输出流（I/O），正则表达式，以及字符串的处理等技术。接下来，我们将详细介绍这些知识点。" 一...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值