需求:将一个2000w条数据的csv文件复制多次,合并成一个1亿条数据的csv文件,用于测试数据
实现方式:使用java.util.Scanner类扫描文件的内容,一行一行连续地读取,这种方案将会遍历文件中的所有行——允许对每一行进行处理,而不保持对它的引用。
也就是不会保存到内存中,保证内存不会溢出。
源码:
1、利用javacsv api对csv文件进行操作
<dependency>
<groupId>net.sourceforge.javacsv</groupId>
<artifactId>javacsv</artifactId>
<version>2.0</version>
</dependency>
2、源码
public static void main(