10、学习POI和easyExcel,并使用easyExcel实现模板下载和批量导入

Java 专栏收录该内容
11 篇文章 0 订阅

常用信息

  1. 将用户信息导出为excel表格(导出数据)
  2. excel表中的信息录入到数据库中
  3. 目前,操作Excel比较流行的就是Apache POI和阿里巴巴的easyExcel

1、POI介绍

Apache POI 官网

在这里插入图片描述
在这里插入图片描述

我们先研究POI操作excel的写操作

1、新建一个项目后,导入所需要的依赖

    <!--导入依赖-->
    <dependencies>
        <!--xls(03版本)-->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.9</version>
        </dependency>
        <!--xlsx(07版本)-->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.9</version>
        </dependency>
        <!--日期格式化测试-->
        <dependency>
            <groupId>joda-time</groupId>
            <artifactId>joda-time</artifactId>
            <version>2.10.1</version>
        </dependency>
        <!--test-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
    </dependencies>

2、查看 03和07 版本的excel表区别。2003版本和2007版本存在兼容性的问题!03最多只有65535

在这里插入图片描述

03版本展示:

package com.jl;

import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.junit.Test;

import java.io.FileOutputStream;
import java.io.IOException;

/**
 * @author jl
 * @version 1.0
 * @date 2021/5/26 20:42
 */
public class ExcelWriteTest {

    String PATH = "E:\\bilibili\\study";

    @Test
    public void testWrite() throws IOException {
        //1.创建工作簿
        HSSFWorkbook workbook = new HSSFWorkbook();
        //2.创建工作表
        Sheet sheet = workbook.createSheet("学生表");
        //3.创建一个行
        Row row1 = sheet.createRow(0);	
        //4.创建一个单元格
        Cell cell11 = row1.createCell(0);	 //单元格(1,1)
        cell11.setCellValue("学生名字");
        Cell cell12 = row1.createCell(1);    // 单元格(1,2)
        cell12.setCellValue("李四");

        //第二行
        Row row2 = sheet.createRow(1);  
        Cell cell21 = row2.createCell(0);    //单元格(2,1)
        cell21.setCellValue("年龄");
        Cell cell22 = row2.createCell(1);    //单元格(2,2)
        cell22.setCellValue("22");

        //生成一张表 —— (IO流) 03版本就是使用xls结尾
        FileOutputStream fileOutputStream = new FileOutputStream(PATH + "学生表03.xls");
        workbook.write(fileOutputStream);
        //关闭流
        fileOutputStream.close();

        System.out.println("学生表03生成完毕!");
    }
}

07版本展示:

package com.jl;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.junit.Test;

import java.io.FileOutputStream;
import java.io.IOException;

/**
 * @author jl
 * @version 1.0
 * @date 2021/5/26 20:42
 */
public class ExcelWriteTest {

    String PATH = "E:\\bilibili\\study";

    @Test
    public void testWrite() throws IOException {
        //1.创建工作簿
        XSSFWorkbook workbook = new XSSFWorkbook();
        //2.创建工作表
        Sheet sheet = workbook.createSheet("学生表");
        //3.创建一个行
        Row row1 = sheet.createRow(0);
        //4.创建一个单元格
        Cell cell11 = row1.createCell(0);	 //单元格(1,1)
        cell11.setCellValue("学生名字");
        Cell cell12 = row1.createCell(1);    // 单元格(1,2)
        cell12.setCellValue("李四");

        //第二行
        Row row2 = sheet.createRow(1);
        Cell cell21 = row2.createCell(0);    //单元格(2,1)
        cell21.setCellValue("年龄");
        Cell cell22 = row2.createCell(1);    //单元格(2,2)
        cell22.setCellValue("22");

        //生成一张表 —— (IO流) 07版本就是使用xlsx结尾
        FileOutputStream fileOutputStream = new FileOutputStream(PATH + "学生表07.xlsx");
        workbook.write(fileOutputStream);
        //关闭流
        fileOutputStream.close();

        System.out.println("学生表07生成完毕!");
    }
}

03和07的区别就是对象不一样,后缀名称不一样。
在这里插入图片描述

大数据量批量导入 —— 大文件写HSSF

缺点:最多只能处理65536行,否则会抛出异常

java.lang.IllegalArgumentException: Invalid row number (65536) outside allowable range (0..65535)

优点:过程中写入缓存,不操作磁盘,最后一次性写入磁盘,速度快

    @Test
    public void testWrite03BigData() throws IOException {
        // 开始时间
        long begin = System.currentTimeMillis();
        // 创建工作簿
        HSSFWorkbook workbook = new HSSFWorkbook();
        // 创建表
        HSSFSheet sheet = workbook.createSheet();
        // 写入数据
        for (int rowNum = 0; rowNum < 65537; rowNum++) {
            Row row = sheet.createRow(rowNum);
            for (int cellNum = 0; cellNum < 10; cellNum++) {
                Cell cell = row.createCell(cellNum);
                cell.setCellValue(cellNum);
            }
        }
        System.out.println("over");
        FileOutputStream outputStream = new FileOutputStream(PATH + "testWrite03BigData.xls");
        workbook.write(outputStream);
        outputStream.close();
        // 结束时间
        long end = System.currentTimeMillis();

        System.out.println((double) (end - begin) / 1000);
    }

在这里插入图片描述

大数据量批量导入 —— 大文件写XSSF

缺点:写数据时速度非常慢,非常耗内存,也会发生内存溢出,如100万条

优点:可以写比较大的数据,如20万条

    @Test
    public void testWrite07BigData() throws IOException {
        // 开始时间
        long begin = System.currentTimeMillis();
        // 创建工作簿
        XSSFWorkbook workbook = new XSSFWorkbook();
        // 创建表
        XSSFSheet sheet = workbook.createSheet();
        // 写入数据
        for (int rowNum = 0; rowNum < 65535; rowNum++) {
            Row row = sheet.createRow(rowNum);
            for (int cellNum = 0; cellNum < 10; cellNum++) {
                Cell cell = row.createCell(cellNum);
                cell.setCellValue(cellNum);
            }
        }
        System.out.println("over");
        FileOutputStream outputStream = new FileOutputStream(PATH + "testWrite07BigData.xlsx");
        workbook.write(outputStream);
        outputStream.close();
        // 结束时间
        long end = System.currentTimeMillis();

        System.out.println((double) (end - begin) / 1000);
    }

在这里插入图片描述

研究POI操作excel的读操作,03和07的区别就是对象不一样

03版本:

    @Test
    public void  testWrite03() throws Exception {
        // 1、获取文件流	—— PATH是excel表的路径
        FileInputStream inputStream = new FileInputStream(PATH + "study学生表03.xls");
        // 2、创建一个工作簿 使用Excel能操作的,他这里都能操作
        Workbook workbook = new HSSFWorkbook(inputStream);
        // 3、得到表
        Sheet sheet = workbook.getSheetAt(0);
        // 4、得到行
        Row row = sheet.getRow(0);
        // 5、得到列
        Cell cell = row.getCell(1);
        // getStringCellValue 字符串类型
        System.out.println(cell.getStringCellValue());  // 读取值得时候,一定需要注意类型
        inputStream.close();
    }

07版本:

    @Test
    public void  testWrite07() throws Exception {
        // 1、获取文件流
        FileInputStream inputStream = new FileInputStream(PATH + "study学生表07.xlsx");
        // 2、创建一个工作簿 使用Excel能操作的,他这里都能操作
        Workbook workbook = new XSSFWorkbook(inputStream);
        // 3、得到表
        Sheet sheet = workbook.getSheetAt(0);
        // 4、得到行
        Row row = sheet.getRow(0);
        // 5、得到列
        Cell cell = row.getCell(1);
        // getStringCellValue 字符串类型
        System.out.println(cell.getStringCellValue());  // 读取值得时候,一定需要注意类型
        inputStream.close();
    }

读取不同的数据类型

    @Test
    public void testCellType() throws IOException {
        // 1、获取文件流
        FileInputStream inputStream = new FileInputStream(PATH + "study学生表03.xls");
        // 2、创建一个工作簿 使用Excel能操作的,他这里都能操作
        Workbook workbook = new HSSFWorkbook(inputStream);
        Sheet sheet = workbook.getSheetAt(0);
        // 获取标题内容
        Row row = sheet.getRow(0);
        if (row != null) {
            // 获取所有的列
            int cellCount = row.getPhysicalNumberOfCells();
            for (int cellNum = 0; cellNum < cellCount; cellNum++) {
                Cell cell = row.getCell(cellNum);
                if (cell != null) {
                    int cellType = cell.getCellType();
                    String value = cell.getStringCellValue();
                    System.out.print(value + "|");
                }
            }
            System.out.println();
        }
        // 获取表中的内容
        int rowCount = sheet.getPhysicalNumberOfRows();
        for (int rowNum = 1; rowNum < rowCount; rowNum++) {
            Row rowData = sheet.getRow(rowNum);
            if (rowData != null) {
                int cellCount = row.getPhysicalNumberOfCells();
                for (int cellNum = 0; cellNum < cellCount; cellNum++) {
                    System.out.print("[" + (rowNum + 1) + "-" + (cellNum + 1) + "]");

                    Cell cell = rowData.getCell(cellNum);
                    //匹配列得数据类型
                    if (cell != null) {
                        int cellType = cell.getCellType();
                        String cellValue = "";

                        switch (cellType) {
                            case HSSFCell.CELL_TYPE_STRING: // 字符串
                                System.out.print("【字符串】");
                                cellValue = cell.getStringCellValue();
                                break;
                            case HSSFCell.CELL_TYPE_BOOLEAN: // 布尔
                                System.out.print("【BOOLEAN】");
                                cellValue = String.valueOf(cell.getBooleanCellValue());
                                break;
                            case HSSFCell.CELL_TYPE_BLANK: // 空
                                System.out.print("【BLANK】");
                                break;
                            case HSSFCell.CELL_TYPE_NUMERIC: // 数字(日期、普通数字)
                                System.out.print("【NUMERIC】");
                                //日期
                                if (HSSFDateUtil.isCellDateFormatted(cell)) {
                                    System.out.println("【日期】");
                                    Date date = cell.getDateCellValue();
                                    cellValue = new DateTime(date).toString("yyyy-MM-dd");
                                } else {
                                    // 如果不是日期格式,那就是数字格式。防止数字过长!
                                    System.out.println("【普通数字转换为字符串输出】");
                                    cell.setCellType(HSSFCell.CELL_TYPE_STRING);
                                    cellValue = cell.toString();
                                }
                                break;
                            case HSSFCell.CELL_TYPE_ERROR: // 布尔
                                System.out.print("【数据类型错误】");
                                break;
                        }
                        System.out.println(cellValue);
                    }
                }
            }
        }
        inputStream.close();
    }

2、EasyExcel

EasyExcel easyExcel官网地址 excel官方文档

在这里插入图片描述
EasyExcel是阿里巴巴开源的一个excel处理框架 ,以使用简单、节省内存著称。
EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中,而是从磁盘上一行一行读取数据,逐个解析。
下图是EasyExcelPOI在解析Excel时的对比图。

在这里插入图片描述

EasyExcel写入操作

1、导入依赖

	<dependency>
     	<groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>2.2.0-beta2</version>
    </dependency>

2、 创建一个实体类

@Data
public class DemoData {

    @ExcelProperty("字符串标题")
    private String string;

    @ExcelProperty("日期标题")
    private Date date;

    @ExcelProperty("数字标题")
    private Double doubleData;
    /**
     * 忽略这个字段,不会生成到excel表中
     */
    @ExcelIgnore
    private String ignore;
}

3、写入数据

public class TestEasyExcel {

    String PATH = "E:\\bilibili\\";

    private List<DemoData> data() {
        List<DemoData> list = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            DemoData data = new DemoData();
            data.setString("字符串" + i);
            data.setDate(new Date());
            data.setDoubleData(0.56);
            list.add(data);
        }
        return list;
    }

    @Test
    public void simpleWrite() {
        String fileName = PATH + "EasyTest.xlsx";
        // 需要指定写用哪个class去写,然后写到第一个sheet,名字为模板 然后文件流会自动关闭
        // write (fileName, 格式类)  sheet (表名)  doWrite (数据)
        EasyExcel.write(fileName, DemoData.class).sheet("模板").doWrite(data());
    }
}

4、结果
在这里插入图片描述

EasyExcel读取操作

1、创建一个监听器

// 有个很重要的点 DemoDataListener 不能被spring管理,要每次读取excel都要new,然后里面用到spring可以构造方法传进去
public class DemoDataListener extends AnalysisEventListener<DemoData> {
    private static final Logger LOGGER = LoggerFactory.getLogger(DemoDataListener.class);

    private static final int BATCH_COUNT = 5;
    List<DemoData> list = new ArrayList<DemoData>();

    private DemoDAO demoDAO;
    public DemoDataListener() {
        // 这里是demo,所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
        demoDAO = new DemoDAO();
    }

    public DemoDataListener(DemoDAO demoDAO) {
        this.demoDAO = demoDAO;
    }

    // 读取数据会执行这个方法
    // DemoData 读取类型
    // AnalysisContext 分析上下文
    @Override
    public void invoke(DemoData data, AnalysisContext context) {
        System.out.println(JSON.toJSONString(data));
        LOGGER.info("解析到一条数据:{}", JSON.toJSONString(data));
        list.add(data);
        // 达到BATCH_COUNT了,需要去存储一次数据库,防止数据几万条数据在内存,容易OOM
        if (list.size() >= BATCH_COUNT) {
            saveData(); // 持久化逻辑
            // 存储完成清理 list
            list.clear();
        }
    }
    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param context
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 这里也要保存数据,确保最后遗留的数据也存储到数据库
        saveData();
        LOGGER.info("所有数据解析完成!");
    }
    /**
     * 加上存储数据库
     */
    private void saveData() {
        LOGGER.info("{}条数据,开始存储数据库!", list.size());
        demoDAO.save(list);
        LOGGER.info("存储数据库成功!");
    }
}

2、测试读出数据

	@Test
    public void simpleRead() {
        // 写法1
        String fileName = PATH + "EasyTest.xlsx";
        // 需要指定写用哪个class去写,然后写到第一个sheet,名字为模板 然后文件流会自动关闭
        EasyExcel.read(fileName, DemoData.class,new DemoDataListener()).sheet("模板").doRead();
    }

3、数据库逻辑(自己实现)

/**
 * 假设这个是你的DAO存储。当然还要这个类让spring管理,当然你不用需要存储,也不需要这个类。
 **/
public class DemoDAO {
    public void save(List<DemoData> list) {
        // 持久化操作
        // 如果是mybatis,尽量别直接调用多次insert,自己写一个mapper里面新增一个方法batchInsert,所有数据一次性插入
    }
}

学习视频链接

3、使用easyExcel实现模板下载和批量导入

使用easyExcel实现模板下载

实体类

/**
 * 批量导入实体
 *
 * @author jl
 * @version 1.0
 * @date 2021/5/10 22:45
 */
public class StudentEasyExcel {
    /**
     * 学号
     */
    @ColumnWidth(14)
    @ExcelProperty("学号")
    private String studentId;
    /**
     * 姓名
     */
    @ExcelProperty("姓名")
    private String name;
    /**
     * 专业表外键
     */
    @ExcelProperty("科目")
    private String subject;
    /**
     * 年级
     */
    @ExcelProperty("年级")
    private String grade;
}    

service层实现逻辑

    /**
     * 下载模板
     *
     * @return
     */
    public Boolean getTemplate() {
        String fileName = "D:\\" + "student.xlsx";
        EasyExcel.write(fileName, StudentEasyExcel.class).sheet("学生表").doWrite(date());
        return true;
    }

    /**
     * 模板初始化数据
     *
     * @return
     */
    private List<StudentEasyExcel> date() {
        List<StudentEasyExcel> list = new ArrayList<>();
        StudentEasyExcel student = new StudentEasyExcel();
        student.setName("张三");
        student.setStudentId("1950410xxx");
        student.setGrade("2020");
        student.setSubject("数学");
        list.add(student);
        return list;
    }

效果:

在这里插入图片描述

使用easyExcel实现批量导入学生

service层实现逻辑

    /**
     * 批量导入 —— 获取到值后赋给Student对象
     */
    public Boolean createStudents(MultipartFile file) throws Exception {
        //获取工作簿对象
        Workbook workbook = WorkbookFactory.create(file.getInputStream());
        //获取工作表
        Sheet sheet = workbook.getSheet("学生表");
        //获取表的总行数
        int lastRowNum = sheet.getLastRowNum();
        //获取表总列数
        short lastCellNum = sheet.getRow(0).getLastCellNum();
        //遍历excel每一行
        List<Student> list = new ArrayList<>();
        for (int i = 1; i <= lastRowNum - 1; i++) {
            Row row = sheet.getRow(i + 1);
            //第一列——学号
            Cell cell = row.getCell(0);
            //第二列——姓名
            Cell cell1 = row.getCell(1);
            //第三列——科目
            Cell cell2 = row.getCell(2);
            //第四列——年级
            Cell cell3 = row.getCell(3);
            cell3.setCellType(CellType.STRING);
            
            // 学生对象
            Student student = new Student();
            //密码加密
            student.setPassword(Md5Util.md5EncodeUtf8(toPinyin(cell1.getStringCellValue())));
            student.setStudentId(cell.getStringCellValue());
            student.setName(cell1.getStringCellValue());
            student.setUsername(toPinyin(cell1.getStringCellValue()));
            student.setRole("2");
            student.setCreatedBy(1000000);
            student.setLastUpdatedBy(1000000);
            student.setCreatedTime(new Date());
            //查询科目年级
            int major = majorMapper.selectMajor(cell3.getStringCellValue(), cell2.getStringCellValue());
            student.setFkMajor(major);
            list.add(student);
        }
        for (int i1 = 0; i1 < list.size(); i1++) {
        	// 这里插入时,使用的sql语句
            majorMapper.insertStudent(list.get(i1));
        }
        return true;
    }

批量导入的sql语句

    <insert id="insertStudent">
        insert into bs_student (username, password, name, student_id, fk_major, role, created_by, created_time,
                                last_updated_by,
                                last_updated_time)
        values (#{username}, #{password}, #{name}, #{studentId}, #{fkMajor}, #{role}, #{createdBy}, #{createdTime},
                #{lastUpdatedBy}, #{lastUpdatedTime})
    </insert>

controller层实现逻辑

    /**
     * 批量导入
     */
    @RequestMapping(value = "excel", method = RequestMethod.POST)
    @ResponseBody
    public Boolean createBatch(@RequestParam(value = "file", required = false) MultipartFile file) throws Exception {
        Boolean flag = studentService.createStudents(file);
        return flag;
    }

效果:
在这里插入图片描述

  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:书香水墨 设计师:CSDN官方博客 返回首页

打赏作者

Surplus...

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值