Hadoop之集群创建与配置

Hadoop之虚拟机创建与安装

Hadoop之虚拟机创建与安装
这一章节以建立好相关的基础模板

集群创建

准备N台linux服务器

1. 准备4台虚拟机：1个namenode节点 + 3 个datanode 节点
2. 使用模板克隆创建

克隆模板

3. 虚拟机-管理-克隆
   
4. 克隆最新状态
   
5. 克隆类型-创建链接克隆
   如果磁盘空间足够的话，推荐使用：创建完整克隆
   
6. 新虚拟机名称以及路径
   第一台主机：将主机放至统一文件夹下进行管理
   名称：hdp-01
   路径：E:\Virtual Machines\Linux\hdfs\hdp-01
   
7. 完成
   
8. 创建剩下3台主机，重复以上步骤
   

主机配置：

主机名：hdp-01  对应的ip地址：192.168.30.131
主机名：hdp-02  对应的ip地址：192.168.30.132
主机名：hdp-03  对应的ip地址：192.168.30.133
主机名：hdp-04  对应的ip地址：192.168.30.134

修改各台机器为静态ip地址

设置静态IP：
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"  ## 修改dhcp为static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="7fd2289b-14bf-4256-833f-24860a4d47ad"
DEVICE="ens33"
ONBOOT="yes"

# 添加静态IP
IPADDR="192.168.30.132"
NETMASK="255.255.255.0"
GATEWAY="192.168.30.2"

需要进行重启网络生效：systemctl restart network

修改各台机器的主机名

设置主机名：vim /etc/hostname
需要进行重启生效：reboot

XShell添加会话列表

windows的本地域名映射

修改文件：C:\Windows\System32\drivers\etc\hosts

# 添加
192.168.30.131	hdp-01
192.168.30.132	hdp-02
192.168.30.133	hdp-03
192.168.30.134	hdp-04

linux的本地域名映射

修改文件：vim /etc/hosts

# 添加
192.168.30.131	hdp-01
192.168.30.132	hdp-02
192.168.30.133	hdp-03
192.168.30.134	hdp-04