hadoop的优势是分布式集群计算,即搭建hadoop集群(完全分布式Hadoop)
集群由节点组成,节点构成不同角色。
hadoop集群
各个节点的功能
搭建集群步骤
- 节点规划
- 设置网络
- 配置文件
- 复制虚拟机
- 格式化文件系统
- 启动集群
准备工作与搭建集群
节点规划
服务器是什么?节点是什么?
服务器是计算机的一种,它比普通计算机运行更快、负载更高、价格更贵。
节点就相当于服务器,节点越多,性能越好,但成本增加。
集群最少需要三个节点,分别作为NameNode,Secondary NameNode ,DataNode
NameNode记录数据分布情况
SecondDary NameNode备份主节点数据,防止死机后数据丢失,可以通过这个节点恢复数据
DataNode存放真正的数据,文件以数据块形式存储。
用三个虚拟机模拟三个节点来学习(虚拟主机无法体会多台计算机并行处理的优势,但操作步骤与实体主机相同)
设置网络
设置两个网卡
-
网卡一,“仅主机网络”,连接主从节点与主机。
- 选中虚拟机,点击设置
- 进入虚拟机设置界面,点击网络,选择网卡1,选择连接方式——仅主机网络
-
网卡二,“桥接连接”,连接主机和主节点、从节点与外部网络。
- 选择网卡2,勾选启用网络连接,选择连接方式——桥接连接,点击高级,在下拉内容的选择混杂模式——全部允许
- 完成点击ok
修改配置文件
设置服务器master
重命名虚拟机
进入设置,选择常规,选择基本,在名称中输入主节点名称,点击ok
修改IP地址
(修改后不能上网)
-
使用ifconfig命令查看IP端口名称与当前IP地址,掩码网关,广播地址。
ifconfig
使用下面方法,由于版本问题,对于Ubuntu20.04不能成功,参考:修改IP地址
修改IP地址,终端输入命令,编辑文件信息
sudo gedit /etc/network/interfaces
auto lo iface lo inet loopback auto enp0s3 iface enp0s3 inet static address 192.168.1.10 netmask 255.255.255.0 broadcast 192.168.1.255
重启网络配置生效
sudo /etc/init.d/networking restart
-
在终端输入命令,编写文件(#后面的文字是注释,需要去掉)
sudo gedit /etc/netplan/01-network-manager-all.yaml
# Let NetworkManager manage all devices on this system network:#网络 version: 2#版本 renderer: NetworkManager#渲染器 ethernets:#以太网 enp0s3: addresses: [192.168.1.10/24] dhcp4: no dhcp6: no gateway4: 192.168.1.1#网关 nameservers:#域名服务器 addresses: [192.168.1.1,8.8.8.8]
-
输入命令,使刚才的配置生效
sudo netplan apply
-
再使用ifconfig命令查看IP地址是否修改成功
ifconfig
修改主机名
-
使用hostname命令查看主机名
hostname
-
修改主机名输入命令,将文件内容修改为主机名(master)
sudo gedit /etc/hostname
master
-
需要重启生效