Easyexcel

1. 简 介 概 述 

        easyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。

        64M内存1分钟内读取75M(46W行25列)的Excel(当然还有急速模式能更快，但是内存占用会在100M多一点)

easyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中，而是从磁盘上一行行读取数据，逐个解析。

2.   官方网址

https://www.yuque.com/easyexcel/doc/write

3. easyexcel完成写操作

把java对象写到excel文件中

 

3.1.  引入依赖

<dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>3.0.5</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.5.1</version>
        </dependency>

3.2 . 封装对象

@Data
@AllArgsConstructor
@NoArgsConstructor
public class ExcelDemo {

    //标记excel 标题内容
    @ExcelProperty(value = "姓名")
    private String name;

    @ExcelProperty(value = "年龄")
    private Integer age;

    @ExcelProperty(value = "性别")
    private String sex;

    //表示不写入表格的属性
    @ExcelIgnore
    private String address;

}

3.3 完成写入操作

/**
 * @program: redis-springboot01
 * @author: ♥丁新华
 * @create: 2023-04-27 21:23
 **/

public class TestWriteDemo {
    public static void main(String[] args) {
        //excel 存放的位置
        String fileName = "E:\\apache-maven-3.6.3-bin\\JavaWeb\\redis-springboot01\\qy163writer.xls";

        //添加数据
        //使用list数组
        List<ExcelDemo> data = new ArrayList<> ();

        data.add (new ExcelDemo ("王建",15,"男","厕所"));
        data.add (new ExcelDemo ("王一",55,"女","卫生间"));
        data.add (new ExcelDemo ("王二",36,"男","厨房"));
        data.add (new ExcelDemo ("王三",56,"女","厨房"));
        //写入进去
        EasyExcel.write (fileName,ExcelDemo.class).sheet ("第一个表").doWrite (data);


    }
}

测试：

 

3.4 web下载 

@Controller
public class ExcelController {
    @GetMapping("download")
    public void download(HttpServletResponse response) throws IOException {
        response.setContentType ("application/vnd,openxmlformat.spreadsheetml.sheet");

        //防止中文乱码
        response.setCharacterEncoding ("utf-8");
        String fileName = URLEncoder.encode ("表格","UTF-8").replaceAll ("\\+","%20");

        response.setHeader ("content-disposition","attachment;filename*=utf-8''" + fileName + "xlsx");

        //存入对象
        List<ExcelDemo> data = new ArrayList<> ();
        data.add (new ExcelDemo ("王建",15,"男","厕所"));
        data.add (new ExcelDemo ("王一",55,"女","卫生间"));
        data.add (new ExcelDemo ("王二",36,"男","厨房"));

        EasyExcel.write (response.getOutputStream (),ExcelDemo.class).sheet ("表格").doWrite (data);

    }
}

 

4. easyexcel完成读操作

 4.1 监听器

package com.dxh.excel;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener;
import com.alibaba.excel.util.ListUtils;
import com.alibaba.fastjson.JSON;
import lombok.extern.slf4j.Slf4j;

import java.util.List;

// 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
@Slf4j
public class DemoDataListener implements ReadListener<ExcelDemo> {

    /**
     * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 100;
    /**
     * 缓存的数据
     */
    private List<ExcelDemo> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
    /**
     * 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
     */
    private DemoDAO demoDAO;

    public DemoDataListener() {
        // 这里是demo，所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
        demoDAO = new DemoDAO();
    }

    /**
     * 如果使用了spring,请使用这个构造方法。每次创建Listener的时候需要把spring管理的类传进来
     *
     * @param demoDAO
     */
    public DemoDataListener(DemoDAO demoDAO) {
        this.demoDAO = demoDAO;
    }

    /**
     * 这个每一条数据解析都会来调用
     *
     * @param data    one row value. Is is same as {@link AnalysisContext#readRowHolder()}
     * @param context
     */
    @Override
    public void invoke(ExcelDemo data, AnalysisContext context) {
        System.out.println (JSON.toJSONString(data));
        cachedDataList.add(data);
        // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (cachedDataList.size() >= BATCH_COUNT) {
            System.out.println ("100条保存");
            saveData();
            // 存储完成清理 list
            cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
        }
    }

    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param context 120---》100    20====》
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 这里也要保存数据，确保最后遗留的数据也存储到数据库
        System.out.println ("after-----------");

        saveData();
        log.info("所有数据解析完成！");
    }

    /**
     * 加上存储数据库
     */
    private void saveData() {
        log.info("{}条数据，开始存储数据库！", cachedDataList.size());
        demoDAO.save(cachedDataList);
        log.info("存储数据库成功！");
    }
}

4.2 dao层

@Component
public class DemoDAO {
    public void save(List<ExcelDemo> list) {
        // 如果是mybatis,尽量别直接调用多次insert,自己写一个mapper里面新增一个方法batchInsert,所有数据一次性插入
    }
}

4.3 测试类

public class TestReadDemo {
    public static void main(String[] args) {
        //excel 存放的位置
        String fileName = "E:\\apache-maven-3.6.3-bin\\JavaWeb\\redis-springboot01\\qy163writer.xls";
        
        //读取
        EasyExcel.read (fileName,ExcelDemo.class,new DemoDataListener ()).sheet ().doRead();
    }
}

结果：

 

5 . easyexcel完成复杂读操作

5.1 引入依赖

<!--文件上传-->
        <dependency>
            <groupId>commons-fileupload</groupId>
            <artifactId>commons-fileupload</artifactId>
            <version>1.3.3</version>
        </dependency>

5.2 测试

@Resource
    private UserDao userDao;
    @PostMapping("upload2")
    @ResponseBody
    public String upload2(MultipartFile file) throws IOException {
        EasyExcel.read(file.getInputStream(), User.class, new UserDataListener (userDao)).sheet().doRead();
        return "success";
    }

 

控制台：

 

6  . easyexcel完成数据库读写操作

6.1 创建实体类

@Data
@TableName("tbl_user")
public class User {
    @TableId
    @ExcelProperty(value = "编号")
    private int id;

    @ExcelProperty(value = "姓名")
    private String name;

    @ExcelProperty(value = "年龄")
    private Integer age;
}

6.2 dao层

@Mapper
public interface UserDao extends BaseMapper<User> {
    void batchSave(List<User> cachedDataList);
}

6.3 监听器

package com.dxh.listener;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener;
import com.alibaba.excel.util.ListUtils;
import com.alibaba.fastjson.JSON;
import com.dxh.dao.UserDao;
import com.dxh.pojo.User;
import lombok.extern.slf4j.Slf4j;

import java.util.List;


@Slf4j
public class UserDataListener implements ReadListener<User> {

    /**
     * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 100;
    /**
     * 缓存的数据
     */
    private List<User> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
    /**
     * 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
     */
    private UserDao userDao;

    public UserDataListener() {
        // 这里是demo，所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
    }

    /**
     * 如果使用了spring,请使用这个构造方法。每次创建Listener的时候需要把spring管理的类传进来
     *
     * @param userDao
     */
    public UserDataListener(UserDao userDao) {
        this.userDao = userDao;
    }

    /**
     * 这个每一条数据解析都会来调用
     *
     * @param data    one row value. Is is same as {@link AnalysisContext#readRowHolder()}
     * @param context
     */
    @Override
    public void invoke(User data, AnalysisContext context) {
        log.info("解析到一条数据:{}", JSON.toJSONString(data));
        cachedDataList.add(data);
        // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (cachedDataList.size() >= BATCH_COUNT) {
            saveData();
            // 存储完成清理 list
            cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
        }
    }

    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param context 120---》100    20====》
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 这里也要保存数据，确保最后遗留的数据也存储到数据库
        log.info("~~~~~~~~~~~~~~~~~~~~~~~~~");

        saveData();
        log.info("所有数据解析完成！");
    }

    /**
     * 加上存储数据库
     */
    private void saveData() {
        log.info("{}条数据，开始存储数据库！", cachedDataList.size());
        userDao.batchSave(cachedDataList);
        log.info("存储数据库成功！");
    }
}

6.4 创建数据库并添加数据

<mapper namespace="com.dxh.dao.UserDao">
    <insert id="batchSave">
         insert into table_user values
         <foreach collection="list" item="user" separator=",">
             (#{user.id},#{user.name},#{user.age})
         </foreach>
    </insert>
</mapper>

6.5 controller层

@Resource
    private UserDao userDao;
    @PostMapping("upload2")
    @ResponseBody
    public String upload2(MultipartFile file) throws IOException {
        EasyExcel.read(file.getInputStream(), User.class, new UserDataListener (userDao)).sheet().doRead();
        return "success";
    }

6.6 配置文件

server.port=8888

spring.datasource.url=jdbc:mysql:///aaa?serverTimezone=Asia/Shanghai
spring.datasource.password=abc123
spring.datasource.username=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

6.7 测试