分布式计算-day1

1. 简介

• 分布式计算分两个阶段：1.将大的任务切分成很多小的任务，然后让集群中的每个节点来对这些小的任务来进行计算；2.小任务运算的结果进行汇总
• 分布式存储：怎么存储，涉及到数据传输的效率问题。
• 数据的处理：存储与运算—存储：HDFS，计算：MapReduce

2.HDFS存储效率—分散存储

存储就是把数据均匀的分散到存储的集群中，如 100g数据，集群100节点按1g切分，则每个节点1g；100g数据，90节点，1g切分，10个节点2g，80个节点1g；100g数据，90节点，512M切分，20个节点1.5g，70个节点1g。 运算使用时间最大的数据计算时间为准

• 数据块的大小，hadoop2之前版本：默认64M，之后默认128M
• HDFS加机器是有上限的：1。HDFS集群是主从架构，主从架构就意味着namenode节点管理的从节点的数量是有上限的。2、无限制的加机器，能加的机器可靠度不是很高。（涉及到成本问题和宕机问题，数据安全性）

3. HDFS集群的数据安全—副本冗余

HDFS 使用了一种最笨但是最有效的方案—用户存入到HDFS的数据，可以根据自己的配置存储多份；HDFS集群中的任何一个节点肯定没有完全相同的两份数据
冗余存储的默认值为3，但是修改hdfs-site.xml文件中的dfs.replication参数修改