以下内容转载自《大规模Web服务开发技术》
大规模数据的难点在于无法在内存中计算,这是因为:
无法再内存中计算的话,就必须搜索磁盘上的数据
但是磁盘十分缓慢,I/O十分耗费时间
内存和磁盘的速度差异--内存快10万-100万倍
为什么这么慢?
因为内存是电子产品,其搜索速度和物料结构基本无关。而磁盘读取数据需要磁头移动和盘片旋转两种物理移动。内存搜索一次要几微秒,而磁盘要花费几毫秒。
传输速度和总线的速度差异
接下来看看传输速度的差异吧。不论是内存还是磁盘,都用总线与CPU连接。不过这些总线也有速度差异啊,连接内存的和CPU的总线相当快,能达到7.5GB/秒。但磁盘只能达到58MB/秒。因此传输过程也要花费时间。数据量越大,磁盘和内存的速度差异就越明显,传输速度也是磁盘慢一些。