hadoop集群搭建和配置

木北鲜生

已于 2022-05-21 03:52:05 修改

阅读量1.9k

点赞数 3

分类专栏： Hadoop 文章标签： hadoop 分布式 ubuntu

于 2022-05-20 16:35:20 首次发布

本文链接：https://blog.csdn.net/m0_53876797/article/details/124884509

版权

本文详细介绍了在Ubuntu系统中搭建Hadoop集群的全过程，包括节点规划、网络设置、配置文件修改、复制虚拟机、格式化文件系统、启动和关闭集群等步骤，旨在帮助读者理解分布式计算并体验Hadoop集群的运作。

摘要由CSDN通过智能技术生成

hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）

集群由节点组成，节点构成不同角色。

hadoop集群

在这里插入图片描述

各个节点的功能

在这里插入图片描述

搭建集群步骤

节点规划
设置网络
配置文件
复制虚拟机
格式化文件系统
启动集群

准备工作与搭建集群

节点规划

服务器是什么？节点是什么？

服务器是计算机的一种，它比普通计算机运行更快、负载更高、价格更贵。

节点就相当于服务器，节点越多，性能越好，但成本增加。

集群最少需要三个节点，分别作为NameNode，Secondary NameNode ，DataNode

NameNode记录数据分布情况

SecondDary NameNode备份主节点数据，防止死机后数据丢失，可以通过这个节点恢复数据

DataNode存放真正的数据，文件以数据块形式存储。

用三个虚拟机模拟三个节点来学习（虚拟主机无法体会多台计算机并行处理的优势，但操作步骤与实体主机相同）

在这里插入图片描述

设置网络

设置两个网卡

网卡一，“仅主机网络”，连接主从节点与主机。
- 选中虚拟机，点击设置
- 进入虚拟机设置界面，点击网络，选择网卡1，选择连接方式——仅主机网络
网卡二，“桥接连接”，连接主机和主节点、从节点与外部网络。
- 选择网卡2，勾选启用网络连接，选择连接方式——桥接连接，点击高级，在下拉内容的选择混杂模式——全部允许
- 完成点击ok

在这里插入图片描述

修改配置文件

设置服务器master

重命名虚拟机

进入设置，选择常规，选择基本，在名称中输入主节点名称，点击ok

在这里插入图片描述

修改IP地址

（修改后不能上网）

使用ifconfig命令查看IP端口名称与当前IP地址，掩码网关，广播地址。

ifconfig

在这里插入图片描述

使用下面方法，由于版本问题，对于Ubuntu20.04不能成功，参考：修改IP地址

修改IP地址，终端输入命令，编辑文件信息

sudo gedit /etc/network/interfaces
auto lo
iface lo inet loopback

auto enp0s3
iface enp0s3 inet static
address 192.168.1.10
netmask 255.255.255.0
broadcast 192.168.1.255
重启网络配置生效

sudo /etc/init.d/networking restart

在终端输入命令，编写文件（#后面的文字是注释，需要去掉）

sudo gedit /etc/netplan/01-network-manager-all.yaml

# Let NetworkManager manage all devices on this system
network:#网络
  version: 2#版本
  renderer: NetworkManager#渲染器
  ethernets:#以太网
    enp0s3:
      addresses: [192.168.1.10/24]
      dhcp4: no
      dhcp6: no
      gateway4: 192.168.1.1#网关
      nameservers:#域名服务器
        addresses: [192.168.1.1,8.8.8.8]