原文链接:点击打开链接
摘要: hadoop集群搭建前期准备
一、搭建六台虚拟机
六台虚拟机一台作为主节点,4台作为从节点,一台作为客户机二、配置网络
1. 打开VMware菜单栏的编辑选项卡,打开虚拟网络编辑器2.查看VMnet8的信息,网络类型选择NET模式,查看子网IP(测试机):192.168.120.DHCP选择框全部选中3.配置/etc/sysconfig/network-scripts/ifcfg-ens33配置文件编写如下(以master节点为例):TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="0ba00b10-d901-4920-903e-7556378a58c0"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY="192.168.120.2"
IPADDR="192.168.120.28"
NETMSAK="255.255.255.0"
DNS1="192.168.120.2"
5.其他节点同理
三、配置ssh互信
1.设置用户文件,打开/etc/hosts。加入集群的ip地址和主机名(起的名字,和hostname不一定一样)保存退出2.建立循环变量a.txt,用for循环讲hosts文件拷贝到集群其他机器上。for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done;注:普及一下scp命令。例如:scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示递归调用,拷贝目录以及子目录。后面接上需要拷贝的目录。在后面是传出机器的用户名。@主机名。传出目录。3.获取master的密钥 ssh-keygen设置免密登陆,即密码为空,直接回车即可。4.将master获取的公钥传给从节点 ssh-copy-id slave1(设备名)5.用ssh 设备名 检测是否可以ssh远程登陆四、关闭防火墙
1、关闭防火墙(重启后恢复):systemctl stop firewalld.service2、禁止防火墙开机启动:systemctl disable firewalld.service五、关闭selinux
1、临时关闭(不用重启):setenforce 02、永久关闭(需要重启生效):编辑/etc/selinux/config文件将SELINUX=enforcing改为SELINUX=disabled3、查看selinux状态:[root@master ~]# getenforcePermissive4、修改所有节点的selinux六、修改主机名
1、查看主机名:hostname2、更改主机名:hostnamectl set-hostname 主机名七、安装jdk
1、查看当前的openjdk信息:rpm -qa|grep openjdk2、删除所有openjdk:rpm -e --nodeps XXX3、下载rpm包(也可用for循环统一拷贝)4、安装jdk:rpm -ivh jdk-8u101-linux-x64.rpm 5、查看jdk路径(默认路径在/usr/java中):find / -name java*6、配置环境变量(按照自己的jdk版本配置):vim /etc/profileJAVA_HOME=/usr/java/jdk1.8.0_101/export JRE_HOME=/usr/java/jdk1.8.0_101//jreexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib7、查看jdk是否安装成功,版本一致则安装成功:java -version8、从节点同理配置八、重启机器
ps:第一次写博客,有点小激动,如有错误,还请多多指正QAQ