处理大规模数据的基础知识

处理大规模数据的三个重点--写程序的技巧

1.能在内存中完成多少？

将磁盘寻道次数将到最低，磁盘寻道次数极大的影响可拓展性和性能。因此，应在最大限度减少磁盘寻道次数的意义上灵活运用内存。

可以实现分布式，有效利用局部性

2.能应对数据量增加的算法和数据结构

例如：线性搜索->二叉树搜索

O(n)->O(log n)

3.数据压缩，信息搜索技术

可以通过压缩等方法缩小数据，以减少寻道次数，吧磁盘读取次数降到最低，而且更容易缓存到内存中。太大的数据无法放到内存中，就算保存在磁盘上，读取也要花费时间，所以压缩十分重要。