大数据学习之Hadoop3.2.2集群环境搭建
(一)Hadoop3.2.2完全分布式集群环境搭建
(二)Zookeeper入门之分布式集群的搭建
(三)HBase分布式集群的搭建
Apache hadoop是什么?
Apache™ Hadoop® 项目开发用于可靠、可扩展、分布式计算的开源软件。
Apache Hadoop 软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,因此在计算机集群之上提供高可用性服务,每台计算机都可能容易出现故障。
准备工作:
虚拟机hadoop,hadoop1,hadoop2配置:
hadoop | hadoop1 | hadoop2 | |
---|---|---|---|
IP | 192.168.10.100 | 192.168.10.101 | 192.168.10.102 |
集群规划:
hadoop | hadoop1 | hadoop2 | |
---|---|---|---|
HDFS | N a m e N o d e \color{#FF3030}{ NameNode } NameNode DataNode |
DataNode | S e c o n a r y N a m e N o d e \color{#FF3030}{ SeconaryNameNode } SeconaryNameNode DataNode |
YARN | NadeManager | R e s o u r c e M a n a g e r \color{#FF3030}{ ResourceManager } ResourceMan |