Hadoop集群实验

目录

 

1.实验介绍

2.安装前准备

3.实验环境搭建

4.安装Hadoop

4.1下载Hadoop

4.2修改hadoop配置文件

5.启动Hadoop集群

6.Hadoop测试

---

1.实验介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

本实验使用四台虚拟主机搭建集群系统，网络拓扑如下

2.安装前准备

所需软件：

• Vmware Workstation 15 Pro
• Ubuntu 18.04.4镜像

参考教程：

• https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
• https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
• https://blog.csdn.net/yangrui1985123/article/details/103381645

注：Ubuntu18与低版本VMware不兼容，如果VMware版本过低，会安装失败，建议直接安装VMware最新版本。虚拟机安装只需不断点击下一步，直至完成。

3.实验环境搭建

• 搭建网络环境

设置hadoop0网络模式为NAT模式，在此模式下虚拟机可以联网并和主机互通

依次单击【编辑虚拟机设置】→【网络适配器】，选择“NAT模式”

在【编辑】菜单打开【虚拟网络编辑器】，单击【NAT模式】

单击【NAT设置】，查看网关IP

单击【DHCP设置】，查看可用的IP地址范围

打开hadoop0【设置】菜单，修改网络配置：

IPv4 Method: Manual
Addresses:192.168.133.128 255.255.25.0 192.168.133.2
DNS: 192.168.133.2
Routes: 192.168.133.2 255.255.25.0 192.168.133.2

地址必须在DHCP指定的范围，域名、网关和NAT网关地址相同，配置完成后重启网卡

• 修改hosts文件

在命令行输入：

sudo vim /etc/hosts

添加4台服务器的节点名信息

hadoop0:192.168.133.128
hadoop1:192.168.133.130
hadoop2:192.168.133.129
hadoop3:192.168.133.131

• 安装所需软件

sudo apt-get install ssh
sudo apt-get install pdsh

• 安装JDK1.8

下载地址https://www.oracle.com/java/t