- 集群架构
- centos7的安装
- 安装java
- hadoop全分布
- ssh无密码登录
- hadoop集群正常启动测试
以下内容均属个人理解,如有偏差,望大家谅解。
集群架构
3台虚拟机都在同一个局域网中,网段是192.168.10.0,子网掩码是:255.255.255.0。
主节点:master.hadoop 192.168.10.2 namenode,SecondaryNamenode,Resource
NameNode
从节点:slavea.hadoop 192.168.10.3 datanode,nodemanage
从节点:slaveb.hadoop 192.168.10.4 datanode,nodemanage
centos7的安装
注意事项:网络选项为桥接。
桥接是将虚拟机当成物理机连接外网。和我们的物理主机在同一个局域网内。需要修改/etc/sysconfig/network-scripts/ifcfg-eno16777736,具体修改BOOTPROTO=static。
NAT是将虚拟机与物理主机隔开,但虚拟机仍可通过NAT服务上网,但是物理主机Ping不到虚拟机,同时,VMnet8的ip是网关。
以主节点为例
创建hadoop账户,以hadoop账户登录。
关闭防火墙:因为防火墙会限制端口的开放。
Linux命令(centos最原始的防火墙是firewall。iptables服务是最新的)是:
firewall-cmd –state 查询防火墙状态
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁止firewall开机启动
关闭SELinux服务:SELinux是对系统文件权限的控制。
Linux命令:
禁止SELinux开机启动
sudo vi /etc/sysconfig/selinux
将”SELINUX=enforcing”改成”SELINUX=disabled”,保存退出
关闭SELinux服务
sudo setenforce 0
查询SELinux服务的状态
sudo getenforce
为Permissive则可。
修改主机名
1.修改/etc/hosts(主机与ip的映射文件) 在原有的基础上加上
192.168.10.2 master.hadoop
2.修改/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=master.hadoop
可以用echo $hostname测试一下
修改ip
修改/etc/sysconfig/network-script/ifcfg-eno16777736,修改或添加以下内容(以下内容有关ip部分根据自己情况填写):
BOOTPROTO=static
ONBOOT=yes
GATEWAY=192.168.10.1
IPADDR=192.168.10.2
NETMASK=255.255.255.0
DNS1=202.117.112.3
安装java
java 安装包 jdk-8u65-linux-x64.tar.gz
1.解压到/usr/java目录下得到jdk1.8.0_65,tar -zxvf jdk-8u65-linux-x64.tar.gz -C /usr/java/。
2.配置环境:
修改/etc/profile文件,添加以下内容:
#set java enviroment
export JAVA_HOME=/usr/java/jdk1.8.0_65
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export