});
}
}
上述代码中,每读取到一行内容,就会直接交给线程池来执行。
我们知道线程池原理如下:
- 如果核心线程数未满,将会直接创建线程执行任务。
- 如果核心线程数已满,将会把任务放入到队列中。
- 如果队列已满,将会再创建线程执行任务。
- 如果最大线程数已满,队列也已满,那么将会执行拒绝策略。
由于我们上述线程池设置的核心线程数为 5,很快就到达了最大核心线程数,后续任务只能被加入队列。
为了后续任务不被线程池拒绝,我们可以采用如下方案:
- 将队列容量设置成很大,包含整个文件所有行数
- 将最大线程数设置成很大,数量大于件所有行数
以上两种方案都存在同样的问题,第一种是相当于将文件所有内容加载到内存,将会占用过多内存。
而第二种创建过多的线程,同样也会占用过多内存。
一旦内存占用过多,GC 无法清理,就可能会引起频繁的 Full GC,甚至导致 OOM,导致程序导入速度过慢。
解决这个问题,我们可以如下两种解决方案:
CountDownLatch
批量执行- 扩展线程池
CountDownLatch
批量执行
JDK 提供的 CountDownLatch
,可以让主线程等待子线程都执行完成之后,再继续往下执行。
利用这个特性,我们可以改造多线程导入的代码,主体逻辑如下:
try (LineIterator iterator = IOUtils.lineIterator(new FileInputStream(file), “UTF-8”)) {
// 存储每个任务执行的行数
List lines = Lists.newArrayList();
// 存储异步任务
List tasks = Lists.newArrayList();
while (iterator.hasNext()) {
String line = iterator.nextLine();
lines.add(line);
// 设置每个线程执行的行数
if (lines.size() == 1000) {
// 新建异步任务,注意这里需要创建一个 List
tasks.add(new ConvertTask(Lists.newArrayList(lines)));
lines.clear();
}
if (tasks.size() == 10) {
asyncBatchExecuteTask(tasks);
}
}
// 文件读取结束,但是可能还存在未被内容
tasks.add(new ConvertTask(Lists.newArrayList(lines)));
// 最后再执行一次
asyncBatchExecuteTask(tasks);
}
这段代码中,每个异步任务将会导入 1000 行数据,等积累了 10 个异步任务,然后将会调用 asyncBatchExecuteTask
使用线程池异步执行。
/**
- 批量执行任务
- @param tasks
*/
private static void asyncBatchExecuteTask(List tasks) throws InterruptedException {
CountDownLatch countDownLatch = new CountDownLatch(tasks.size());
for (ConvertTask task : tasks) {
task.setCountDownLatch(countDownLatch);
executorService.submit(task);
}
// 主线程等待异步线程 countDownLatch 执行结束
countDownLatch.await();
// 清空,重新添加任务
tasks.clear();
}
asyncBatchExecuteTask
方法内将会创建 CountDownLatch
,然后主线程内调用 await
方法等待所有异步线程执行结束。
ConvertTask
异步任务逻辑如下:
/**
- 异步任务
- 等数据导入完成之后,一定要调用 countDownLatch.countDown()
- 不然,这个主线程将会被阻塞,
*/
private static class ConvertTask implements Runnable {
private CountDownLatch countDownLatch;
private List lines;
public ConvertTask(List lines) {
this.lines = lines;
}
public void setCountDownLatch(CountDownLatch countDownLatch) {
this.countDownLatch = countDownLatch;
}
@Override
public void run() {
try {
for (String line : lines) {
convertToDB(line);
}
} finally {
countDownLatch.countDown();
}
}
}
ConvertTask
任务类逻辑就非常简单,遍历所有行,将其导入到数据库中。所有数据导入结束,调用 countDownLatch#countDown
。
一旦所有异步线程执行结束,调用 countDownLatch#countDown
,主线程将会被唤醒,继续执行文件读取。
虽然这种方式解决上述问题,但是这种方式,每次都需要积累一定任务数才能开始异步执行所有任务。
另外每次都需要等待所有任务执行结束之后,才能开始下一批任务,批量执行消耗的时间等于最慢的异步任务消耗的时间。
这种方式线程池中线程存在一定的闲置时间,那有没有办法一直压榨线程池,让它一直在干活呢?
扩展线程池
回到最开始的问题,文件读取导入,其实就是一个生产者-消费者消费模型。
主线程作为生产者不断读取文件,然后将其放置到队列中。
异步线程作为消费者不断从队列中读取内容,导入到数据库中。
一旦队列满载,生产者应该阻塞,直到消费者消费任务。
其实我们使用线程池的也是一个生产者-消费者消费模型,其也使用阻塞队列。
那为什么线程池在队列满载的时候,不发生阻塞?
这是因为线程池内部使用 offer
方法,这个方法在队列满载的时候不会发生阻塞,而是直接返回 。
那我们有没有办法在线程池队列满载的时候,阻塞主线程添加任务?
其实是可以的,我们自定义线程池拒绝策略,当队列满时改为调用 BlockingQueue.put
来实现生产者的阻塞。
RejectedExecutionHandler rejectedExecutionHandler = new RejectedExecutionHandler() {
@Override
public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
if (!executor.isShutdown()) {
try {
executor.getQueue().put®;
} catch (InterruptedException e) {
// should not be interrupted
}
}
}
};
这样一旦线程池满载,主线程将会被阻塞。
使用这种方式之后,我们可以直接使用上面提到的多线程导入的代码。
ExecutorService executorService = new ThreadPoolExecutor(
5,
10,
60,
TimeUnit.MINUTES,
new ArrayBlockingQueue<>(100),
new ThreadFactoryBuilder().setNameFormat(“test-%d”).build(),
(r, executor) -> {
if (!executor.isShutdown()) {
try {
// 主线程将会被阻塞
executor.getQueue().put®;
} catch (InterruptedException e) {
// should not be interrupted
}
}
});
File file = new File(“文件路径”);
try (LineIterator iterator = IOUtils.lineIterator(new FileInputStream(file), “UTF-8”)) {
while (iterator.hasNext()) {
String line = iterator.nextLine();
executorService.submit(() -> convertToDB(line));
}
}
小结
一个超大的文件,我们可以采用拆分文件的方式,将其拆分成多份文件,然后部署多个应用程序提高读取速度。
另外读取过程我们还可以使用多线程的方式并发导入,不过我们需要注意线程池满载之后,将会拒绝后续任务。
我们可以通过扩展线程池,自定义拒绝策略,使读取主线程阻塞。
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
最后的话
无论是哪家公司,都很重视Spring框架技术,重视基础,所以千万别小看任何知识。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。
同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,好了希望这篇文章对大家有帮助!
部分截图:
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。
同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,好了希望这篇文章对大家有帮助!**
部分截图:
[外链图片转存中…(img-vZVKBo7B-1713052362877)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!