- 配置网络
保证可以ping通外网,关闭防火墙,然后用xshell来操作
//配置的ip、网关等信息
vim /etc/sysconfig/network-scripts/ifcfg-eth0
//网卡
DEVICE=eth0
//是否开机启动
ONBOOT=yes
//ip地址
IPADDR=192.168.0.100
//子网掩码
NETMASK=255.255.255.0
//网关
GATEWAY=192.168.0.2
//使用静态的ip形式
BOOTPROTO=static
//关闭防火墙
service iptables stop
//永久性关闭防火墙
chkconfig iptables off
//dns解析
vim /etc/resolv.conf
nameserver 114.114.114.114
//映射
vim /etc/hosts
//追加配置内容
192.168.0.100 node01
192.168.0.101 node02
192.168.0.103 node03
//时间同步
//下载ntp命令
yum install -y ntp
//使用命令来让时间和网络、本地时间同步
ntpdate -u ntp1.aliyun.com
至此,网络部分的配置就完成了,如果在本地搭建的话,注意要配置vmware的虚拟网络编辑器,保证nat模式网络模式下的网段和子网掩码都和自己配置的一致,否则可能会导致ping不通外网。
2.免密配置
先上传jdk的tar包,将jdk的tar包上传至节点上,这里我们将所有的jar包进行一个目录规划,tar包统一放在/home/tools下,统一解压到/home/bigdata下(解压命令:tar -zxvf tar包名 -C /home/bigdata)。在其他节点我们只需要创建/home/bigdata目录,将在节点1上配置好的直接发送过去即可。
//配置环境变量
vim ~/.bash_profile(~其实就是代表/root/)
export JAVA_HOME=/home/bigdata/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
//刷新环境变量
source ~/.bash_profile
//测试
jav使用tab键,如果可以补齐java就说明配置成功
//发送到其他节点
//在/home/bigdata/下发送
scp -r jdk1.8.0_151/ node02:`pwd`
scp -r jdk1.8.0_151/ node03:`pwd`
//在/root/下发送.bash_profile到其他节点,道理一样,但要记得刷新一下(使用上述命令)
scp .bash_profile node02:`pwd`
scp .bash_profile node023:`pwd`
//刷新环境变量
source ~/.bash_pfofile
//到/root/.ssh下
cd /root/.ssh
//生成公钥和私钥
ssh-keygen
//直接回车到底
//使用ll可以看到生成的文件
//将公钥发送到其他节点上,包括本机,发送时要输入yes,下一步输出密码,密码就是你登录linux的密码
ssh-copy-id -i id_rsa.pub node01
ssh-copy-id -i id_rsa.pub node02
ssh-copy-id -i id_rsa.pub node03
//因为我们搭建的是HA,所以要在另一个namenode节点(这里是节点2)上也要免秘钥,操作同上
//到节点2的/root/.ssh下
cd /root/.ssh
//生成公钥和私钥
ssh-keygen
//直接回车到底
//使用ll可以看到生成的文件
//将公钥发送到其他节点上,包括本机
ssh-copy-id -i id_rsa.pub node01
ssh-copy-id -i id_rsa.pub node02
ssh-copy-id -i id_rsa.pub node03
//测试
ssh node02,(如果root@node01变成了root@node02,即成功,使用exit来回到原来节点)
- hadoop集群配置
hadoop的tar包上传至节点的/home/tools下,统一解压到/home/bigdata下,配置hadoop文件。
配置hadoop的环境变量,同java一样
vim ~/.bash_profile
export HADOOP_HOME=/home/bigdata/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
//配置文件存储目录
cd /home/bigdata/hadoop-2.8.3/etc/hadoop/
配置hadoop-env.sh
//只需配置JAVA_HOME的路径
export JAVA_HOME=/home/bigdata/jdk1.8.0_151
配置core-site.xml
<configuration>
<!--hadoop的集群入口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoopCluster01</value>
</property>
<!--hadoop的工作路径,会自动创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bigdata/hadoop-2.8.3/hadoop2.8.3_metadata</value>
</property>
<!-- zookeeper的端口配置-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<!--hdfs集群名称:--&