巩固基础
文章目录
数据存在数据库中时,是离散的存储,数据表中相邻的字段存储位置并不相邻,因此在顺序查找字段时需要一个一个查找,这是很大的io消耗。因此需要降低io引入数据结构,二叉树,红黑树,b树,哈希表等。
Introduction
无限制添加服务器,它的边际收益递减,所以不能简单增加服务器数量。加钱实现扩展性
性能
容错(tolerance):可用性 + 可修复性
大型集群分布式的1000台机器上的常见错误其实是每台机器上很罕见的错误,各个地方总有些小问题,所以是不可靠的。
非易失存储(贵) 复制(副本一致性)
一致性(consistency)
强一致性:实现成本昂贵(通信)
弱一致性:获得高的性能
Mapreduce框架
将文件作为输出,按kv存储列表,
map(k,v)将v分割成每一个单词;emit(w,1)
reduce(k,v); emit(len(v))