CentOS7中jdk安装和ssh免密和Hadoop集群搭建搭建
一、前提准备
- 两台虚拟机
- 两台虚拟机的网络是互通的且可以上网
- jdk1.8安装包
- WinScp 用来将安装包传到虚拟机中
二、JDK安装
-
用WinScp将jdk1.8压缩包上传到/opt/software文件夹下
-
在 opt目录下解压jdk:
tar -zxvf software/jdk-8u241-linux-x64.tar.gz
-
jdk重命名:
mv jdk1.8.0_241/ jdk
- 配置环境变量:
vim /etc/profile.d/hadoop_etc.sh # 在这个中编写环境变量
写入以下内容:
export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
更新环境变量:
source /etc/profile.d/hadoop_etc.sh
三、ssh免密登录设置
本人将虚拟机 master作为主节点 s1作为从节点
1. 更改用户名
vim /etc/sysconfig/network
2. 关闭防火墙
2.1 方法一:
2.1 安装: yum install iptables-services
2.2 关闭: service iptables stop & chkconfig iptables off
2.3 检查: service iptables status
2.2 方法二:
- 关闭:systemctl stop firewalld.service
- 永久关闭: systemctl disable firewalld.service
- 检查: firewall-cmd --state
3. 添加域名
打开配置文件添加一下内容:
1. 打开文件: vim /etc/hosts`
2. 添加:
192.168.1.100 master
192.168.1.101 s1
验证:
ping s1 / ping master
4.修改selinux中的配置文件
vim /etc/selinux/config
5. ssh免密登录(全部操作用root执行)
5.1 用 vim /etc/hosts
往 hosts中添加以下内容(ip 和主机名)
192.168.1.100 master
192.168.1.101 s1
5.2 将 /etc/hosts文件拷贝到从机文件中:
scp /etc/hosts root@192.168.1.101:/etc/hosts
5.3 生成密钥对: (两台机字分别执行)
ssh-keygen -t rsa # 中间直接敲三个回车会看到以下内容
在 /root/.ssh 路径下查看:(公钥和私钥)
ls
5.4 复制从节点的公钥放到主节点中:
scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.s1
检查:
5.5 将主节点和从节点的公钥添加到主节点的authorized_keys中:
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.s1 >> authorized_keys
检查:
5.6 修改authorized_keys 文件的权限:(必须要做)
chmod 644 ~/.ssh/authorized_keys
5.7 拷贝authorized_keys 这个文件到从节点中:
scp /root/.ssh/authorized_keys s1:/root/.ssh/authorized_keys
验证:
四、Hadoop安装
4.1 解压:
tar -zxvf software/hadoop-3.2.1.tar.gz
4.2 重命名:
mv hadoop-3.2.1/ hadoop
4.3 配置环境变量:
4.3.1 配置文件1
vim /etc/profile.d/hadoop_etc.sh
写入:
export