大量字符串类型数据的去重方法——另类简便解决方法

2019独角兽企业重金招聘Python工程师标准>>>

核心思想：利用硬盘空间换取内存空间。

第一种情况：字符串可以作为文件名（当不能表示为文件名时，可以考虑转换成符合文件名命名规则的字符串，但需要考虑处理可能由此带来的风险：比如，转化前，两个字符串本不相同，转换后却相同）

        将每个字符串作为文件名，创建文件。如：

try{
    File f = new File(字符串);//用字符串作为文件名
    if(f.exists()){//判断文件存在
        //做自己的操作
    }
    else{//判断文件不存在
        f.createNewFile();
        //做自己的操作
    }
}catch(IOException e){
   e.printStackTrace(); 
}

第二种情况：字符串不可以作为文件名

        将每个字符串作为主键，存入数据库中。思想和文件名差不多，但需要注意数据操作方面的问题。

转载于:https://my.oschina.net/airship/blog/300151