大规模数据处理的难点--内存和磁盘

以下内容转载自《大规模Web服务开发技术》

大规模数据的难点在于无法在内存中计算，这是因为：

无法再内存中计算的话，就必须搜索磁盘上的数据

但是磁盘十分缓慢，I/O十分耗费时间

内存和磁盘的速度差异--内存快10万-100万倍

为什么这么慢？

因为内存是电子产品，其搜索速度和物料结构基本无关。而磁盘读取数据需要磁头移动和盘片旋转两种物理移动。内存搜索一次要几微秒，而磁盘要花费几毫秒。

传输速度和总线的速度差异

接下来看看传输速度的差异吧。不论是内存还是磁盘，都用总线与CPU连接。不过这些总线也有速度差异啊，连接内存的和CPU的总线相当快，能达到7.5GB/秒。但磁盘只能达到58MB/秒。因此传输过程也要花费时间。数据量越大，磁盘和内存的速度差异就越明显，传输速度也是磁盘慢一些。