大数据算法学习笔记(七):外存算法

当数据量巨大时，传统随机存储模型无法适用。

一、存储结构

标准计算理论模型：

1、无限内存

2、统一访问代价

3、模型简单

分层存储：

1、存储量得到较大提升，较慢的层次远离CPU

2、以块为单位的数据移动

可扩展性问题：

大多数程序在RAM模型中运行，操作系统按需访问块。但如果程序分散地访问磁盘数据，即便是好的操作系统也无法利用数据块存取优势。

外部存储器模型：

N=#问题实例数据项个数

B=#每个磁盘块数据项个数

M=#内存能容纳的数据项个数

T=#输出数据项个数

I/O:内存和磁盘之间移动的块数