我们将介绍如何安装多台机器的Hadoop集群(Hadoop Multi Node Cluster),以及Hadoop资源管理(ResourceManager)与NameNode HDFS Web界面。
Hadoop Multi Node Cluster规划如图。有多台计算机组成:
·由多台电脑組成: 有一台主要的电脑master,在HDFS担任NameNode(主节点)角色,在MapReduce2(YARN)担任ResourceManager角色
·有多台的电脑data1、data2、data3,在HDFS担任DataNode角色,在MapReduce2(YARN)担任NodeManager角色 。
Hadoop Multi Node Cluster规划图
Hadoop Multi Node Cluster的安装步骤
(1)复制Single Node Cluster到data1
(2)Virtual Box适配卡设置
(3)设置data1服务器
(4)复制data1服务器至data2、data3、data3、master
(5)设置data2服务器
(6)设置data3服务器
(7)设置master服务器
(8)Master连接data1、data2、data3创建HDFS目录
(9)建立与格式化NameNode HDFS目录
(10)启动Hadoop Multi Node cluster
(11)打开Hadoop Resource Manager Web界面
(12)打开NameNode Web界面
安装步骤说明:
(1)为了方便创建data1
(2)设置两块适配卡,适配卡1:设置为“NAT适配卡”,可以通过Host主机(实体机)连接到外部网络。适配卡2:设置为“网络适配器”,用于建立内部网络。
(3)设置Multi Node Cluster服务器,配置设置文件共同部分(固定的IP、hostname&#
Hadoop Multi Node Cluster的安装(1) 学习笔记五
最新推荐文章于 2022-12-29 16:09:16 发布