weijh

原创 使用java如何对一个大的文本文件内容进行去重

前言今天从cdlinux论坛中下载了一份密码字典，纯txt文本文件，一个密码一行，加起来有1.5亿行，2G+，但是我怀疑里面有重复的密码，所以想对文件内容进行去重处理。分析一般可能会想到一次将文本内容读取到内存中，用HashSet对内容去重，但是很不幸这个过程jvm会内存溢出，无奈，只能另想办法，首先将这个大文件中的内容读取出来，对每行String的hashCode取模取正整数，可...