处理大规模数据的三个重点--写程序的技巧
1.能在内存中完成多少?
将磁盘寻道次数将到最低,磁盘寻道次数极大的影响可拓展性和性能。因此,应在最大限度减少磁盘寻道次数的意义上灵活运用内存。
可以实现分布式,有效利用局部性
2.能应对数据量增加的算法和数据结构
例如:线性搜索->二叉树搜索
O(n)->O(log n)
3.数据压缩,信息搜索技术
可以通过压缩等方法缩小数据,以减少寻道次数,吧磁盘读取次数降到最低,而且更容易缓存到内存中。太大的数据无法放到内存中,就算保存在磁盘上,读取也要花费时间,所以压缩十分重要。