JAVA多线程读取同一个文件，加速对文件内容的获取

最新推荐文章于 2024-08-12 14:47:42 发布

岁月如歌似梦

最新推荐文章于 2024-08-12 14:47:42 发布

阅读量3.6w

点赞数 3

分类专栏： Java杂七杂八文章标签： JAVA 多线程文件读取

本文链接：https://blog.csdn.net/u014653197/article/details/78136568

版权

本文介绍了如何使用JAVA实现多线程读取同一个大文件，以提高文件内容获取的速度。针对朋友面临的大文件读取慢的问题，通过创建多线程模型，实现了读取文件的效率提升。文中提供了示例代码和测试结果，显示在不同线程数下，文件读取的时间差异，验证了多线程的有效性。

摘要由CSDN通过智能技术生成

前几天，朋友托我帮个忙，问我能不能用多线程的方式，读取一个文件，获取里面的内容。他大概想做的事情，就是读取文件里面每一行的内容，然后分析一下，再插入到数据库这样。但是，由于他那个记录内容的文件实在是太大了，虽然他弄成了单生产者-多消费者的模型，整体的处理速度还是非常的慢，因为读取速度不够快。所以，他就问我要怎么多线程读取同一个文件里面的内容，形成多生产者-多消费者的模型，从而提高速度。

因此就有了下面的demo试的代码，只要传一个文件路径，读取文件的线程数，分隔符，回调这4个参数即可，并且还配上了测试代码。

下面是我本地跑出来的测试结果（测试文件，是一个190MB大的文件）：

3线程(本机2核4线程) 耗时 3231498毫秒
2线程耗时 278592毫秒
单线程耗时397115毫秒
cpu线程数（4线程）耗时245657 毫秒

package demo.demo;

import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.io.UnsupportedEncodingException;
import java.security.InvalidParameterException;
import java.util.Random;
import java.util.UUID;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicInteger;

public class ThreadReadFileHelper {
	// 模拟数据
	private static void writeData() throws FileNotFoundException, IOException {
		FileOutputStream fileOutputStream = new FileOutputStream("C:\\Users\\lianghaoh