搭建hadoop集群前期准备

原文链接：点击打开链接

摘要： hadoop集群搭建前期准备

一、搭建六台虚拟机

六台虚拟机一台作为主节点，4台作为从节点，一台作为客户机

二、配置网络

1. 打开VMware菜单栏的编辑选项卡，打开虚拟网络编辑器2.查看VMnet8的信息，网络类型选择NET模式，查看子网IP（测试机）：192.168.120.DHCP选择框全部选中3.配置/etc/sysconfig/network-scripts/ifcfg-ens33配置文件编写如下（以master节点为例）：

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="0ba00b10-d901-4920-903e-7556378a58c0"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY="192.168.120.2"
IPADDR="192.168.120.28"
NETMSAK="255.255.255.0"
DNS1="192.168.120.2"

4.保存文件，重启网卡，systemctl resatrt network.service。尝试ping通集群和外网。

5.其他节点同理

三、配置ssh互信

1.设置用户文件，打开/etc/hosts。加入集群的ip地址和主机名（起的名字，和hostname不一定一样）保存退出2.建立循环变量a.txt，用for循环讲hosts文件拷贝到集群其他机器上。for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done;注：普及一下scp命令。例如：scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示递归调用，拷贝目录以及子目录。后面接上需要拷贝的目录。在后面是传出机器的用户名。@主机名。传出目录。3.获取master的密钥 ssh-keygen设置免密登陆，即密码为空，直接回车即可。4.将master获取的公钥传给从节点 ssh-copy-id slave1（设备名）5.用ssh 设备名 检测是否可以ssh远程登陆

四、关闭防火墙

1、关闭防火墙（重启后恢复）：systemctl stop firewalld.service2、禁止防火墙开机启动：systemctl disable firewalld.service

五、关闭selinux

1、临时关闭（不用重启）：setenforce 02、永久关闭（需要重启生效）：编辑/etc/selinux/config文件将SELINUX=enforcing改为SELINUX=disabled3、查看selinux状态：[root@master ~]# getenforcePermissive4、修改所有节点的selinux

六、修改主机名

1、查看主机名：hostname2、更改主机名：hostnamectl set-hostname 主机名

七、安装jdk

1、查看当前的openjdk信息：rpm -qa|grep openjdk2、删除所有openjdk：rpm -e --nodeps XXX3、下载rpm包（也可用for循环统一拷贝）4、安装jdk：rpm -ivh jdk-8u101-linux-x64.rpm 5、查看jdk路径（默认路径在/usr/java中）：find / -name java*6、配置环境变量（按照自己的jdk版本配置）：vim /etc/profileJAVA_HOME=/usr/java/jdk1.8.0_101/export JRE_HOME=/usr/java/jdk1.8.0_101//jreexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib7、查看jdk是否安装成功，版本一致则安装成功：java -version8、从节点同理配置

八、重启机器

ps：第一次写博客，有点小激动，如有错误，还请多多指正QAQ