分布式
相对于集中式:
集中式:
一台计算机:将所有东西(软件)放在此计算上(安装)
分布式:
多台机器:将东西进行划分,每台机器存储一部分
主从架构:
主节点:master
管理者,调度者
从节点:slaves
被管理者,工作具体实施者
分布式文件系统HDFS
主节点:
NameNode
将存储的文件划分为block块进行存储(128MB);
每个block副本是3个;
三个功能:
1.管理所有从节点;
2.存储元数据;
3.接收客户端的请求;
从节点:
DataNodeS 功能:
管理存储在当前DataNode运行的 机器上block;
分布式集群资源管理YARN
管理集群资源 【任务(job)调度】
主节点:resourceManager
管理这个集群的资源
接收客户端提交的应用
从节点:nodeManager
管理当前节点(每台机器)上资源
注意:在企业部署Hadoop机器的时候,其中HDFS的从节点DataNode和YARN从节点NodeManager基本上出现在一台机器上,为了充分利用集群资源。