大量数据的去重处理

 

分析图

1：大量数据：很大的数据

2：部分数据：大量数据的一部分

3：内存处理部分数据（zhi'de）

4：分库分表对内存处理的数据进行处理，重复的不添加到数据库中，不重复的进行分库分表添加到数据库中。

5：分库分表：是一种对数据库数据优化的快速存取方式。