centos新建hadoop集群

1、克隆虚拟机，做集群。

克隆VM lunix虚拟机

克隆之前local模式下调试的spark虚拟机，采用克隆完整文件的模式 
 

修改unix系统参数

通过上一步的克隆，得到多个unix系统环境，现在拿其中一个进行修改举例，其余部分大致相同，除了IP和主机名以外。

第一步 修改mac地址

在虚拟机还未启动之前，先修改该系统的mac地址，如下操作所示。 

[root@node1 ~]# cd /etc/udev/rules.d
[root@node1 rules.d]# ll
总用量 4-rw-r--r--. 1 root root 628 6月  12 2018 70-persistent-ipoib.rules
[root@node1 rules.d]# vi 70-persistent-ipoib.rules

 
生成新的mac地址，并用记事本记录 
修改完成后启动虚拟机 
打开终端窗口并切换到root用户，键入命令

第二步 修改ip地址

同样在root用户下，通过键入以下命令，修改IP地址、网关地址及mac地址。

[root@node1 network-scripts]# cd /etc/sysconfig/network-scripts
[root@node1 network-scripts]# vi ifcfg-eth0

 

HWADDR=00:50:56:2E:90:8F
TYPE=Ethernet
BOOTPROTO=STATIC
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPADDR=192.168.137.103
NETMASK=255.255.255.0
GATEWAY=192.168.137.1
DNS1=8.8.8.8
DNS2=8.8.8.4
NAME=eth0
UUID=65158d8c-f426-40c6-8544-bce3714ec89b
DEVICE=eth0
ONBOOT=yes

 

第三步 修改hostname

通过以下两个命令，在两处修改hostname

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=node3

或者直接修改：hostnamectl set-hostname node3  

验证：hostname

[root@node1 ~]# hostnamectl set-hostname node4
[root@node1 ~]# hostname
node4

vi /etc/hosts

127.0.0.1   localhost node3
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

配置完重启：shutdown -r now

 

新建用户：useradd  hadoop  

passwd hadoop

2、LINUX下安装JDK。

参考博客：https://blog.csdn.net/weixin_37998647/article/details/79424379

 

如果发现 /etc/profile下配置环境，但是该文件是只读的，可以先切换到root用户，然后chmod 777 /etc/profile赋予权限