你在想这个问题,这一切都可以通过一个MySQL表来完成,它将数据保存到磁盘而不是将所有内容保存在内存中。那么多数据从来就不是由独立应用程序有效处理的。
CREATE TABLE TONS_OF_STRINGS
(
unique_string varchar(255) NOT NULL,
UNIQUE (unique_string)
)只需循环遍历值(假设此处以逗号分隔的列表)并尝试插入每个标记。每个失败的令牌都是重复的。
public static void main(args) {
Connection con = DriverManager.getConnection("jdbc:mysql://localhost/database","username","password");
FileReader file = new FileReader("SomeGiantFile.csv");
Scanner scan = new Scanner(file);
scan.useDelimiter(",");
String token;
while ( scan.hasNext() ) {
token = scan.next();
try {
PreparedStatement ps = con.prepareStatement("Insert into TONS_OF_STRING (UNIQUE_STRING) values (?)");
ps.setString(1, token);
ps.executeUpdate();
} catch (SQLException e) {
System.out.println("Found duplicate: " + token );
}
}
con.close();
System.out.println("Well that was easy, I'm all done!");
return 0;
}完成后不要忘记清除表格,这就是大量数据。