Hadoop数据分析-第二章大数据操作系统-读书笔记
二 大数据操作系统
2.1 基本概念
1. 分布式系统的要求:
容错性:组件失败不能导致整个系统故障,可以影响性能
可恢复性:发生故障不能丢数据
一致性:一个作业或任务的失败不能影响最后的结果
可扩展性:负载增加导致性能的下降,资源增加使得存储和计算能力增强
2. 为了满足以上的要求提出了一些抽象概念:
节点处理本地存储的数据,以将网络流量最小化
每个数据块跨系统多次复制,以提供冗余和数据安...
原创
2019-11-10 11:00:11 ·
502 阅读 ·
0 评论