(一)hadoop集群搭建——1.1虚拟机环境准备
hadoop的集群使用三台虚拟机进行搭建,规划为:
h1-------- h2 -------- h3
DN--------DN--------DN
NM--------NM--------NM
NN--------RM--------2NN
三台机器h1、h2、h3配置相似,这里先完成一台机器h2的搭建,再通过克隆完成hadoop集群的搭建。
1.创建一台新的虚拟机并修改ip
执行命令
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=“eth0”
BOOTPROTO=“none”
HWADDR=“00:0C:29:F0:29:1C”
IPV6INIT=“yes”
NM_CONTROLLED=“yes”
ONBOOT=“yes”
TYPE=“Ethernet”
UUID=“6270f9db-7b30-4921-948a-007b95480c32”IPADDR=192.168.32.32
NETMASK=255.255.0.0
DNS2=8.8.8.8
GATEWAY=192.168.0.1
DNS1=192.168.32.111
USERCTL=no
2.修改主机名
执行命令
# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=h2
主机名修改完成后需要重启生效
[root@localhost ~]# reboot
3.添加用户并设置新密码
执行命令
[root@h2 ~]# useradd hzhao
用户hzhao添加完成
[root@h2 ~]# passwd hzhao
Changing password for user hzhao.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
用户密码添加成功
4.创建目录
我们需要创建一个目录方便所有软件的安装与存放。/opt/soft为软件存放目录,/opt/module为软件安装目录。
[root@h2 ~]# mkdir /opt/soft
[root@h2 ~]# chmod 777 /opt/soft/
[root@h2 ~]# mkdir /opt/module
[root@h2 ~]# chmod 777 /opt/module/
5.修改hosts文件
编辑机器上的hosts文件,主机名与ip进行映射
vim /etc/hosts
修改文件内容如下:
192.168.32.31 h1
192.168.32.32 h2
192.168.32.33 h3
6.赋予hzhao用户root权限
vim /etc/sudoers
在文件中加上如下内容
hzhao ALL=(ALL) NOPASSWD:ALL
7.克隆虚拟机
通过机器h2克隆出虚拟机h1,并修改ip、hostname。克隆的机器service network restart命令报错解决如下
[root@h2 ~]# rm -rf /etc/udev/rules.d/70-persistent-net.rules
[root@h2 ~]# reboot
[root@h2 ~]# ifocnfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:F0:29:1C
inet addr:192.168.41.32 Bcast:192.168.255.255 Mask:255.255.0.0
inet6 addr: fe80::20c:29ff:fef0:291c/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:2908948 errors:0 dropped:0 overruns:0 frame:0
TX packets:10271 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:179064850 (170.7 MiB) TX bytes:838227 (818.5 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:4 errors:0 dropped:0 overruns:0 frame:0
TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:240 (240.0 b) TX bytes:240 (240.0 b)
修改ifcfg-eth0文件中的HWaddr 为ifconfig命令中输出的HWaddr