数据库十万数据量操作

1. 批量插入

设置每次批量插入的数量，防止内存溢出以及sql过长问题；

List<Object> list = new ArrayList<>();
        for (int i = 0; i < 200000; i++) {
            list.add(i);
        }
        
        int maxLengh = 10000;
        int index = list.size() / maxLengh;
        for (int i=0;i< index;i++){
            // stream流表达式，skip表示跳过前i*10000条记录，limit表示读取当前流的前10000条记录
            testMapper.testBatchInsert(
            	list.stream().skip(i*10000).limit(10000).collect(Collectors.toList()));
        }

2. java内存溢出常用解决办法：

检查代码中是否有死循环或递归调用。
检查是否有大循环重复产生新对象实体。
检查对数据库查询中，是否有一次获得全部数据的查询。一般来说，如果一次取十万条记录到内存，就可能引起内存溢出。这个问题比较隐蔽，在上线前，数据库中数据较少，不容易出问题，上线后，数据库中数据多了，一次查询可能就会引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
检查List、Map等集合对象是否使用完未清除的问题，List、Map等集合对象会始终存有对对象的引用，使得这些对象不能被GC回收。（使用clear()清除集合）
检查对大文件的读取是否采用nio的方式。（这块我不懂，你可以百度看看，也欢迎你跟我交流。

3. 使用Java对象序列化获取内存占用(bit)

Java对象序列化是一种将对象转换为字节序列的技术，可以用于获取对象的大小。我们可以将对象序列化为字节数组，然后获取字节数组的长度。下面是一个使用Java对象序列化获取对象大小的示例代码：

    public static long getObjectSize(Object obj) {
        try(ByteArrayOutputStream baos = new ByteArrayOutputStream();
            ObjectOutputStream oos = new ObjectOutputStream(baos)) {
            oos.writeObject(obj);
            return baos.toByteArray().length;
        } catch (IOException e) {
            throw new RuntimeException("Unable to get object size", e);
        }
    }