Java 高效大文件读取&写入（一亿行）

最新推荐文章于 2024-10-07 19:40:04 发布

源码了解：hadluo

最新推荐文章于 2024-10-07 19:40:04 发布

阅读量2.7k

点赞数 3

分类专栏：自己写的框架

本文链接：https://blog.csdn.net/LuoZheng4698729/article/details/117019437

版权

自己写的框架专栏收录该内容

19 篇文章 4 订阅

订阅专栏

写文件

需求：写入1亿行，7位以内的随机的数字。

首先看成果图，代表没骗大家！！！！！

这个是最终生成的文件，有770多MB 。下面用glogg打开预览：

程序打印耗时

7149ms + 923 ms = 8072ms ，也就是8秒,写入1个亿数据到文件！！！！（还可以参数调优）

思想

利用nio高效写文件，先写入20个小文件，最后合并，每个小文件开一个线程。

代码：

public static void main(String[] args) throws CloneNotSupportedException, InterruptedException, IOException {
	int totals = 100000000;
	int segment = 20 ;
	// 写入5亿条数据
	// 开启20个线程
	ExecutorService service = Executors.newFixedThreadPool(segment);
	AtomicInteger incr = new AtomicInteger(0);
	CountDownLatch downLatch = new CountDownLatch(segment);
	long s = System.currentTimeMillis();
	for(int j=0;j<segment;j++) {
		service.execute(()->{
			 RandomAccessFile acf;
			 FileChannel fc = null ;
			try {
				String fName = "E:\\tmp_" + incr.getAndIncrement()+".txt";
				acf = new RandomAccessFile(fName, "rw");
				fc = acf.getChannel();
				int offset = 0;
				for (int i = 0; i < totals/segment/10000; i++) { //25000000
					//每次写1w个 数字
					StringBuilder sb = new StringBuilder();
					for (int k=0;k<10000;k++) {
						sb.append(new Random().nextInt(10000000) + "\n");
					}
			    byte[] bs = sb.toString().getBytes();
			    MappedByteBuffer mbuf = fc.map(FileChannel.MapMode.READ_WRITE, offset, bs.length);
			    mbuf.put(bs);
			    offset = offset + bs.length;
			}
			} catch (Exception e) {
				e.printStackTrace();
			}finally {
				 downLatch.countDown();
				 try {
					fc.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		});
	}
	downLatch.await();
	System.out.println("await 唤醒， 小文件写入完毕! 耗時：" + (System.currentTimeMillis()-s));
	List<File> files = new ArrayList<File>();
	for(int i=0;i<segment;i++) {
		files.add(new File("E:\\tmp_" + i+".txt"));
	}
	 s = System.currentTimeMillis();
	//合併文件
	merge(files, "E:\\last.txt");
	System.out.println("合併文件完毕! 耗時：" + (System.currentTimeMillis()-s));
	service.shutdown();
}


public static void merge(List<File> files , String to) {
	File t = new File(to);
	FileInputStream in = null;
	FileChannel inChannel = null;

	FileOutputStream out = null ;
	FileChannel outChannel = null ;
	try {
		 out = new FileOutputStream(t, true);
		 outChannel = out.getChannel();
		// 记录新文件最后一个数据的位置
		long start = 0;
		for (File file : files) {
			in = new FileInputStream(file);
			inChannel = in.getChannel();
			// 从inChannel中读取file.length()长度的数据，写入outChannel的start处
			outChannel.transferFrom(inChannel, start, file.length());
			start += file.length();
			in.close();
			inChannel.close();
		}
	}catch (Exception e) {
		e.printStackTrace();
	} finally {
		try {
			out.close();
			outChannel.close();
		} catch (Exception e2) {
		}
	}
}