大数据hadoop入门学习

1. 分布式的认识

分布式基础概念：分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情。

分布式系统一定是由多个节点组成的系统。 其中，节点指的是计算机服务器，而且这些节点一般不是孤立的，而是互通的。

2.集群的认识

集群的基本概念：所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。

3.理解分布式与集群的区别：

分布式 ：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事

集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

把一套系统拆分成不同的子系统部署在不同服务器上，这叫分布式。

把多个相同的系统部署在不同的服务器上，这叫集群。部署在不同服务器上的相同系统必然要做“负载均衡”。

集群和分布式都是由多个节点组成，但集群中各节点间基本不需要通信协调，而分布式中各个节点的通信协调是必不可少的。

4.Hadoop框架内容：

HDFS模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

SecondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNodeL：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

NodeManager：负责执行主节点分配的任务