使用多线程会加快文件读取速度吗?

使用多线程去读取文件的话会加快读取速度吗?

同样如果在面试中问你这个问题该怎么回答呢?假设有一个文件大小为10G,我们需要将其读取到内存中(假设内存能容纳下该文件),那么使用多个线程分块去读取的话会加快读取速度吗,比如我们创建两个线程,一个线程读取前5G数据;另一个线程读取后5G数据,这会比只是用一个线程将其读入内存快吗?
先说答案,对于机械磁盘,使用多个线程去读取文件通常是一个bad idea。

为什么?

为什么使用多个线程去读取文件通常是一个bad idea呢?
原因就在于虽然我们可以使用多个线程来充分利用多个CPU核心,但是不要忘了,磁盘只有一个。
因此简单的使用多个线程并不能加快文件的读取速度。这就好比一个餐馆,这个餐馆中有多个服务员,但是只有一个厨师;服务员下单很简单,即一句话的事儿,但是厨师做一道菜出来是需要很多时间的,一个服务员下的单就够厨师忙的了,多个服务员同时下单并不能提高厨师的产出。
在这里服务员就好比CPU,厨师就好比磁盘。
实际上使用多个线程来读取文件可能会使得情况更加糟糕,这就涉及到了对磁盘结构的理解。

理解磁盘

当然,这里的磁盘是指的机械磁盘,这类磁盘需要把磁头放到正确的磁道上,接着等待相应的扇区转到该磁头下才可以读取磁盘数据。
因此磁盘中最耗时的其实并不是把数据从磁盘读取到磁头,最耗时的其实是把磁头移动到正确的磁道上,这个步骤最耗时,有的同学可能会有疑问,为什么这个步骤是最耗时的呢?
不要忘了,我们说的是机械磁盘,磁头的移动相对电子的速度是极慢的,使用多个线程来读取文件的话,磁头可能要在不同的磁道间来回移动以满足各个线程的文件读取请求,这个过程对磁盘性能的影响是非常大的。
现在你该知道为什么多线程读取文件不会加快读取速度了吧。

最佳实践

理解了磁盘的原理之后我们就明白了,实际上磁盘的顺序读取才是最快速的,这就是为什么我们把2G的电影copy到磁盘的速度要远远快于把2G的多个文件copy到磁盘的速度快很多的原因。
因此比较好的办法就是使用一个线程来读取一个大文件,要想加快数据处理速度可以等文件读取完成后使用多个线程来处理这些已经加载到内存中的数据。

SSD磁盘

待续。。。

RAID10磁盘

待续。。。

总结

一个看似简单的问题其实往往并不是我们想的那么容易,这涉及到了对磁盘理解,只有对计算机各个系统有了一个透彻的理解后,解决问题才能从关键着手。

  • 5
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值