1、思想
①读取TXT文件中的每一行数据。
②(第一次去重)判读是否是数字类型并保留每一行中不同的数据,存入List<String>表中,用S1表示。
③(第二次去重)对S1中的数据进行去重,并新建List<String>表S2,将第二次去重后的数据存入S2中。
④将去重后的数据以TXT格式导出。
2、处理数据
(1)数据类型1
①处理前
②处理后
(2)数据类型2
①处理前(计700万条数据)
②处理后(计3000+)
①读取TXT文件中的每一行数据。
②(第一次去重)判读是否是数字类型并保留每一行中不同的数据,存入List<String>表中,用S1表示。
③(第二次去重)对S1中的数据进行去重,并新建List<String>表S2,将第二次去重后的数据存入S2中。
④将去重后的数据以TXT格式导出。
①处理前
②处理后
①处理前(计700万条数据)
②处理后(计3000+)