MAC_Virtual Box_ 安装 Hadoop Multi Node Cluster

最新推荐文章于 2021-12-23 11:09:56 发布
最新推荐文章于 2021-12-23 11:09:56 发布
阅读量257 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mikowoo007/article/details/106083200
版权

Hadoop Multi Node Cluster 架构必须有4台实体服务器才能建立，以发挥多台计算机并行处理的优势
使用 Virtual Box 创建4台虚拟机 master, data1, data2, data3

把 Single Node Cluster 复制到 data1

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

设置 VirtualBox 网卡

网卡1
  设置为“NAT网卡”, 可以通过Host主机【安装Virtual Box那台电脑】连接到外部网络(internet)
网卡2
  设置为“仅主机适配器”（这里的适配器指的是网卡），用于创建内部网络，内部网络连接虚拟主机（master, data1, data2, data3）与 Host主机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

设置 data1 服务器

启动 data1 服务器
设置data1 虚拟主机每次开机都是使用固定IP: 192.168.56.101

编辑网络配置文件设置固定IP

sudo vim /etc/network/interfaces

设置网卡1、网卡2
添加内容为

# NAT interface
auto eth0
iface eth0 inet dhcp

# host only interface
auto eth1
iface eth1 inet static
address			192.168.56.101
netmask			255.255.255.0
network			192.168.56.0
broadcast		192.168.56.255

设置 hostname

sudo vim /etc/hostname

编辑内容
在这里插入图片描述

设置hosts文件

sudo vim /etc/hosts

编辑内容
在这里插入图片描述

编辑 core-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

在这里插入图片描述

编辑 YARN-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加内容

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
	<name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:8025</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:8030</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:8050</value>
</property>
</configuration>

在这里插入图片描述

编辑 mapred-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

编辑内容

<configuration>
<property>
        <name>mapred.job.tracker</name>
        <value>master:54311</value>
</property>
</configuration>

在这里插入图片描述

编辑 hdfs-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value> file:/usr/local/hadoop/hadoop_data/hdfs/datanode </value>
</property>
</configuration>

在这里插入图片描述

重新启动系统

确认网络设置

在这里插入图片描述

复制data1 服务器到 data2、data3、master

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
重复步骤复制3个虚拟机：
在这里插入图片描述
物理内存8G，建议设置为：
master: 2GB
data1: 1GB
data2: 1GB
data3: 1GB
在这里插入图片描述

设置 data2 服务器

编辑 interfaces 网络配置文件

sudo vim /etc/network interfaces

在这里插入图片描述

编辑 hostname 文件

sudo vim /etc/hostname

在这里插入图片描述

重启服务器 查看网络设置

ifconfig

在这里插入图片描述

设置 data3 服务器

编辑 interfaces 网络配置文件

sudo vim /etc/network/interfaces

在这里插入图片描述

编辑 hostname 文件

sudo vim /etc/hostname

在这里插入图片描述

重启 服务器 查看网络设置

ifconfig

在这里插入图片描述

设置 master 服务器

编辑 interfaces 网络配置文件

sudo vim /etc/network/interfaces

在这里插入图片描述

编辑 hostname 文件

sudo vim /etc/hostname

在这里插入图片描述

编辑 hdfs-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

编辑内容

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value> file:/usr/local/hadoop/hadoop_data/hdfs/namenode </value>
</property>

在这里插入图片描述

编辑 master 文件

sudo vim /usr/local/hadoop/etc/hadoop/masters

在这里插入图片描述

编辑 slaves 文件

sudo vim /usr/local/hadoop/etc/hadoop/slaves

在这里插入图片描述

重启服务器 查看网络设置

ifconfig

在这里插入图片描述

master 连接到 data1、data2、data3 创建HDFS目录

同时启动4个服务器

连接到data1服务器

ssh data1

在这里插入图片描述
对 data1 创建HDFS相关目录
删除 HDFS 所有目录

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs

创建 DataNode 存储目录

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

将目录的所有者更改为hduser

sudo chown -R hduser:hduser /usr/local/hadoop

在这里插入图片描述
中断连接，回到 master

exit

连接到 data2 服务器

ssh data2

对 data2创建HDFS相关目录
删除 HDFS 所有目录

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs

创建 DataNode 存储目录

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

将目录的所有者更改为hduser

sudo chown -R hduser:hduser /usr/local/hadoop

在这里插入图片描述
中断连接，回到 master

exit

连接到 data3 服务器

ssh data3

对 data3创建HDFS相关目录
删除 HDFS 所有目录

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs

创建 DataNode 存储目录

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

将目录的所有者更改为hduser

sudo chown -R hduser:hduser /usr/local/hadoop

在这里插入图片描述
中断连接，回到 master

exit

创建并格式化 NameNode HDFS 目录

在 master 服务器上，创建 NameNode HDFS 目录
删除之前的HDFS目录

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs

创建 NameNode 目录

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

将 目录的所有者更改为 hduser

sudo chown -R hduser:hduser /usr/local/hadoop

在这里插入图片描述
格式化 NameNode HDFS 目录

hadoop namenode -format

在这里插入图片描述

启动 Hadoop Multi Node Cluster

分别启动 HDFS 与 YARN

命令说明
start-dfs.sh启动HDFS
start-YARN.sh启动 Hadoop MapReduce 框架 YARN

同时启动 HDFS 与 YARN

命令说明
start-all.sh同时启动HDFS与YARN

在这里插入图片描述
查看 master (NameNode) 的进程 (process) 是否启动

jps

在这里插入图片描述
查看data1 服务器 所运行的进程

ssh data1
jps
exit

在这里插入图片描述

打开 Hadoop ResourceManager Web 界面

http://master:8088/
在这里插入图片描述

打开 NameNode Web 界面

http://master:50070/
在这里插入图片描述

停止 Hadoop Multi Node Cluster

stop-all.sh

在这里插入图片描述

问题解决办法

使用virtualBox配置访问虚拟机网络时,需要配置仅主机(Host-Only)配置器,但界面名称,一直是未指定,不能保存
在这里插入图片描述
【Virtual Box】->【管理】-> 【主机网络管理器】
在这里插入图片描述

Mikowoo007
关注
专栏目录
Hadoop Multi Node Cluster的安装（1） 学习笔记五
停止的闹钟博客
08-13 164
我们将介绍如何安装多台机器的Hadoop集群（Hadoop Multi Node Cluster），以及Hadoop资源管理（ResourceManager）与NameNode HDFS Web界面。 Hadoop Multi Node Cluster规划如图。有多台计算机组成： ·由多台电脑組成: 有一台主要的电脑master，在HDFS担任NameNode（主节点）角色，在MapReduce2...
《Python Spark 2.0 Hadoop机器学习与大数据实战_林大贵(著)》pdf
weixin_34119545的博客
06-17 1870
《Python+Spark 2.0+Hadoop机器学习与大数据实战》五星好评+强烈推荐的一本书，虽然内容可能没有很深入，但作者非常用心的把每一步操作详细的列出来并给出说明，让我们跟着做的时候非常有信心，没有出现奇奇怪怪的报错，没有不知道为啥就是进行不下去的情况。这本书用实例告诉你spark，hdfs的基础使用和操作方法，让你快速入门，懂得操作。后面再进行针对性的入门和进阶，就会非常顺手。非常好的...
大数据Windows下虚拟机内部Hadoop的安装使用
05-28
windows虚拟机内部搭建Linux安装Hadoop下节点环境，使用内部计数实例，以及开发新的数据算法
Mac virtualbox linux 单节点hadoop安装
starkpan的博客
09-23 411
这里搭建的是慕课网大数据课程中的版本 1、下载hadoop wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 2、解压hadoop tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/ 3、修改配置文件 配置文件1、/home/hadoop...
Hadoop Multi Node Cluster安装
appsna的专栏
09-13 369
Hadoop Multi Node Cluster安装 一、软件准备 1. CentOS 虚拟机4台（这里我用的是CentOS 6.8 X64 + VMware）。 2. jdk-8u191-linux-x64.tar.gz 3. hadoop-2.8.5.tar.gz 二、配置要求 hostname IP地址 OS ...
安装Hadoop Multi Node Cluster
user_lib的博客
04-08 379
详细步骤如下将上一节的single node cluster复制到data1设置data11.设置网络配置2.设置主机名3.编辑Hosts文件4.编辑core-site.xml5.编辑YARN-site.xml6.编辑mapred-site.xml7.编辑hdfs-site.xml重复将data1完整复制到data2,data3,master设置master服务器master连接data1,data2,data3创建并格式化NameNode HDFS启动Hadoop Multi Node Cluster 将
Hadoop——Hadoop Multi Node Cluster的安装
绝尘
10-23 838
Hadoop Multi Node Cluster的安装 Hadoop Multi Node Cluster 规划如下图 一台主要的计算机master，在HDFS担任NameNode角色，在MapReduce2（YARN）担任ResourceManager角色。 多台辅助计算机data1、data2、data3，在HDFS担任DataNode角色、在MapReduce2（YARN）担任NodeM...
分布式系统原理介绍_分布式系统的全面介绍
cumian9828的博客
07-25 4244
分布式系统原理介绍by Stanislav Kozlovski 斯坦尼斯拉夫·科兹洛夫斯基(Stanislav Kozlovski) 分布式系统的全面介绍 (A Thorough Introduction to Distributed Systems) 什么是分布式系统，为什么这么复杂？ (What is a Distributed System and why is it so compl...
JanusGraph ,生产环境安装
ProgrammerThreeStone的博客
09-29 2222
Part 1 Janusgraph 所需组的准备 安装ElasticSearch 需要组建包括casandra 和 elasticsearsh 我们需要先在服务器上安装并准备这两个环境。首先从安装elasticsearch开始。 此处可以参考中文版权威指南[ElasticSearch权威ie指南]https://es.xiaoleilu.com/010_Intro/10_Installin...
GIS开源软件大全
afzhu2014的专栏
04-20 3187
开源公司 Mapbox- Helping you design your own map and presenting your data 提供地图瓦片服务、路径规划服务、地名搜索服务、在线制图服务以及私有地图服务器解决方案 Mapbox GL- Render Mapbox styles in mobile, desktop, and node applications using C+...
Hadoop Multi Node Cluster 安装步骤.pdf
05-11
Hadoop Multi Node Cluster 安装步骤.pdf
Hadoop Multi Node Cluster（Hadoop 集群）的安装与配置
weixin_44252609的博客
07-07 695
该篇博客这要是对多台机器的Hadoop集群，以及hadoop 资源管理（ResourceManager）与NameNode HDFS Web界面的介绍。 Hadoop Multi Node Cluster（Hadoop 集群）规划如下： 一台主要计算机master，在HDFS担任NameNode角色、在MapReduce2(YARN)担任ResourceManager角色。 有多台计算机，在HDFS担任DataNode角色、在MapReduce2(YARN)担任NodeManager角色 。 Hado
解决启动hadoop后jps没有从节点没有DataNode问题
qq_46085912的博客
12-23 4017
进入hadoop安装目录找到core-site.xml（/usr/local/soft/hadoop-3.2.0/etc/hadoop/）并查看 找到： <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> 去到 /data/hadoop/目录下进入/data/hadoop/hdfs/
centos7 Linux配置网络
归来仍少年
09-28 779
centos7 Linux配置网络 ##网络模式 ----> 仅主机模式 cd /etc/sysconfig/network-scripts/ ONBOOT=yes #IPADDR=172.16.0.104 #ZONE=public ##重启网络服务 systemctl restart network ##查看是否配置成功 ip addr ##window升级导致虚拟网卡不见 1.cmd查看网卡信息 ifconfig\all 2.添加Oracle的VM网卡 1） 电脑 —> 管理 —>
2. 教你在VirtualBox下安装Hadoop
AKA毅成的博客
09-22 1747
2. Hadoop安装 1. Hadoop的安装 下载Hadoop安装包，通过scp（或其他指令方式）发送到虚拟机上，并进行解压安装。修改环境变量 vi /etc/profile export JAVA_HOME="/opt/jdk1.8.0_211" export HADOOP_HOME="/opt/hadoop-2.8.4" # hadoop安装目录 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /
使用VirtualBox虚拟机搭建hadoop运行环境，
weixin_30496431的博客
06-09 766
最近学了一下大数据，包括hadoop环境的搭建，搭建工具：centos6.5,hadoop2.6.4,eclipseMars.1 Release (4.5.1),jdk1.8 第一步、网络与ip地址的设置，安装virtualbox此处省略，接下来就是安装centos6.5，具体参照这篇博客http://www.2cto.com/os/201407/318477.html，安装好之后会重启，点击...
第5章 Hadoop 2.6 Multi Node Cluster安裝指令
HuFeiHu
01-12 761
Hadoop Multi Node Cluster規劃如下圖， 由多台電腦組成: 有一台主要的電腦master，在HDFS擔任NameNode角色，在MapReduce2(YARN)擔任ResourceManager角色有多台的電腦data1、data2、data3，在HDFS擔任DataNode角色，在MapReduce2(YARN)擔任NodeManager角色 
Hadoop Single Node Cluster安装
SanFancsgo的博客
09-06 1099
Hadoop Single Node Cluster安装 Hadoop Single Node Cluster 可以用一台机器来建立Hadoop环境。 Hadoop Single Node Cluster 只有一台服务器，整合了所有功能： 安装步骤： 安装JDK：Hadoop是基于Java开发 设置SSH无密码登录：Hadoop必须通过SSH与本地计算机以及其他主机连接，必须设置SS...
Mac配置Hadoop最详细过程
diba19990213的博客
03-14 636
Mac配置Hadoop最详细过程 原文链接:http://www.cnblogs.com/blog5277/p/8565575.html 原文作者: 博客园-曲高终和寡 https://www.cnblogs.com/landed/p/6831758.html 一.准备工作: 1. JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起...
Ubuntu上安装Hadoop Single Node Cluster教程
在安装Hadoop Single Node Cluster的过程中，有几个关键步骤是必不可少的： 1. 设置Jupyter Notebook：文档中提到了`jupyter notebook`命令的使用，这表明可能是在设置一个交互式的数据处理环境。`--ip=0.0.0.0`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值