java大数据批量落库分片处理

Partition（分区）是指将一个大的数据集合分解成多个部分，每个部分独立进行处理的过程。Partition可以用来解决以下问题：

提高数据处理的并发度：将数据进行分区，可以让不同的处理任务并行执行，提高数据处理的效率。

优化数据存储：将数据分区存储可以让每个分区的大小适中，更易于管理和维护。

改善数据访问性能：将数据按照某些特定的规则进行分区，可以让访问数据时更快速地定位到具体需要的数据分区，提高数据访问性能。

更好地支持数据的扩展和处理：随着数据量的增加，在单个节点上处理数据的效率会逐渐降低，分区可以让数据分布在多个节点上，更好地支持数据的扩展和处理。

import org.apache.commons.collections4.ListUtils;

代码示例：
fileVOList ：数据集合

@Autowired
ReminderDao reminderDao;

reminderDao::saveReminderFileRecordByList ：入库保存的方法

ListUtils.partition(fileVOList,100).forEach(reminderDao::saveReminderFileRecordByList);