大数据最全【JAVA问题解决方案】01

思考逻辑:
1.了解一下Excel单表最多存储多少行数据（可以存储1048576条数据，1024的平方，2的20次方）。
2.知道最多多少行就能以这个数为条件，如果超过则进行分表。
3.分表的同时需要对数据进行分割，才能不超过最大限度。
注: 这就是简单的demo，有关于自己项目中的逻辑自己加。
实体类（非常简单，为了导出表更快）

@ToString
@Data
@NoArgsConstructor
@AllArgsConstructor
public class Student {
   @ExcelProperty(value = "学生年龄")
   private int age;
}

测试类

//进行分表demo
 	@Test
    public void TestWrite() {
    	//获取要导出的数据
        List<Student> fillData = initFillData();
        //获取一共多少条数据
        int totalCount = fillData.size();
        String fileName = "学生信息报告.xlsx";
        //单表最多存储数
        int sheetMaxNum = 1048576;
		
        ExcelWriter excelWriter = null;
        // 如果总数超出单个sheet的大小 1048575 则进行分页
        if (totalCount > sheetMaxNum) {
            excelWriter = EasyExcel.write(fileName, Student.class).build();
             // 设置的单个Sheet的数据量，必须小于1048576，
            int pageSize = 1048575;
            //要分表的页数
            int sheetCount = 0;
            //如果能整除则为整除的数
            if (totalCount % pageSize == 0){
                sheetCount = totalCount / pageSize ;
            }else{
            //如果不能整除则+1
                sheetCount = (totalCount / pageSize) + 1 ;
            }
            int num = 0;
            //进行循环分表
            for (int pageNum = 1; pageNum <= sheetCount; pageNum++) {
                WriteSheet writeSheet = EasyExcel.writerSheet(pageNum, "学生信息Sheet表\_" + pageNum).head(Student.class).build();

                int fromIndex = pageSize \* pageNum;
                if (fromIndex >= totalCount) {
                    fromIndex = totalCount;
                }
                //将数据进行分组
                excelWriter.write(fillData.subList(num, fromIndex), writeSheet);
                num = fromIndex ;
            }
        } else { // 不超出则一次性全部导出
            excelWriter = EasyExcel.write(fileName, Student.class).build();
            WriteSheet writeSheet = EasyExcel.writerSheet("学生信息表").head(Student.class).build();
            excelWriter.write(initFillData(), writeSheet);
        }
        excelWriter.finish();
    }



//这是测试导出两百万条数据
    private static List<Student> initFillData() {
        ArrayList<Student> fillDatas = new ArrayList<Student>();
        for (int i = 2; i < 2000000; i++) {
            Student fillData = new Student();
            fillData.setAge(i);
            fillDatas.add(fillData);
        }
        return fillDatas;
    }

1、常用类

• EasyExcel 入口类，用于构建开始各种操作；
• ExcelReaderBuilder 构建出一个ReadWorkbook对象，即一个工作簿对象，对应的是一个Excel文件；
• ExcelWriterBuilder 构建出一个WriteWorkbook对象，即一个工作簿对象，对应的是一个Excel文件；
• ExcelReaderSheetBuilder 构建出一个ReadSheet对象，即一个工作表的对象，对应的Excel中的每个sheet，一个工作簿可以有多个工作表；
• ExcelWriterSheetBuilder 构建出一WriteSheet对象，即一个工作表的对象，对应的Excel中的每个sheet，一个工作簿可以有多个工作表；
• ReadListener 在每一行读取完毕后都会调用ReadListener来处理数据，我们可以把调用service的代码可以写在其invoke方法内部；
• WriteHandler 在每一个操作包括创建单元格、创建表格等都会调用WriteHandler来处理数据，对使用者透明不可见；
• 所有配置都是继承的 Workbook的配置会被Sheet继承。所以在用EasyExcel设置参数的时候，在EasyExcel…sheet()方法之前作用域是整个sheet，之后针对单个sheet。

2、读取时的注解

@ExcelProperty

使用位置：标准作用在成员变量上

可选属性：

属性名	含义	说明
index	对应Excel表中的列数	默认-1，建议指定时从0开始
value	对应Excel表中的列头
converter	成员变量转换器	自定义转换器需要实Converter接口

**注：**index属性可以指定当前字段对应excel中的哪一列，可以根据列名value去匹配，也可以不写。

如果不使用@ExcelProperty注解，成员变量从上到下的顺序，对应表格中从左到右的顺序；

要么全部不写，要么全部用index，要么全部用名字去匹配，尽量不要三个混着用。

代码演示：

// 1. 修改成员变量顺序读取Excel表格
// 2. 修改index属性值读取Excel表格
// 3. 修改value属性值读取Excel表格
@ExcelProperty(value = "学生姓名",index = 3)


![img](https://img-blog.csdnimg.cn/img_convert/cca9882cc57a217662566a87ee40f64a.png)
![img](https://img-blog.csdnimg.cn/img_convert/1e97fb81f6a33154c0c5b65b94180579.png)
![img](https://img-blog.csdnimg.cn/img_convert/719150f2330ad1974f6acef64cb541d5.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**