随机不重复抽取某文件中N行数据

前几天碰到需要从一个炒鸡大的文件里随机提取两百万行数据,而且不可以重复。从网上参考了各种代码拼拼凑凑完成了功能,研究完代码写了个通俗点的注释,希望可以帮助小白。(其实我就是个小白,哈哈)

原理就是吧整个文件按行先存进内存里,然后要做的就是拿到两百万个不重复的数了。

package function;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.util.ArrayList;
/**
 * 随机抽取文件中的N行数据
 * @author Margin
 *
 */
public class Abstract {
	
	public void abstractTxt(String url) throws Exception{
		ArrayList<String> list = new ArrayList<String>();
		FileReader fr = new FileReader(url);
		BufferedReader br = new BufferedReader(fr);
		String temp = "";
		while((temp=br.readLine()) != null){
			temp=br.readLine();
			list.add(temp);
		}
		//我需要的萝卜数量
		int k = 2000000;
		//萝卜地的萝卜数量
		int n = list.size();
		//来到了萝卜养殖场
		int[] numbers = new int[n];
		for(int i = 0; i<numbers.length; i++){
			numbers[i] =i + 1;
		}
		//掏出麻袋,准备装萝卜!!go go go
		int[] result = new int[k];
		for (int i = 0; i < result.length; i++) {
			/*佛性选个坑*/
			int r = (int)(Math.random() * n);
			/*拔个萝卜放麻袋里*/
			result[i] = numbers[r];
			/*把最后的萝卜放到空坑里*/
			numbers[r] = numbers[n-1];
			/*把最后一个坑埋上*/
			n--;
		}
		
		
		File f = new File("D:\\提取.txt");
		FileWriter fileWriter = new FileWriter(f);
		BufferedWriter bw = new BufferedWriter(fileWriter);
		for(int i:result){
			String string = list.get(i);
			bw.write(string);
			bw.newLine();
			
		}
		bw.flush();
		bw.close();
		fileWriter.close();
	}
	
	public static void main(String[] args) throws Exception {
		new Abstract().abstractTxt("D:\\Margin.txt");
	}
}

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值