CentOS7中jdk安装和ssh免密和Hadoop集群搭建搭建

一、前提准备

1. 两台虚拟机
2. 两台虚拟机的网络是互通的且可以上网
3. jdk1.8安装包
4. WinScp 用来将安装包传到虚拟机中

二、JDK安装

1. 用WinScp将jdk1.8压缩包上传到/opt/software文件夹下

2. 在 opt目录下解压jdk: tar -zxvf software/jdk-8u241-linux-x64.tar.gz
   

3. jdk重命名:

mv jdk1.8.0_241/ jdk

4. 配置环境变量：

vim /etc/profile.d/hadoop_etc.sh  #  在这个中编写环境变量

写入以下内容：

export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

更新环境变量:

source  /etc/profile.d/hadoop_etc.sh

三、ssh免密登录设置

本人将虚拟机 master作为主节点 s1作为从节点

1. 更改用户名

vim /etc/sysconfig/network

2. 关闭防火墙

2.1 方法一:

		2.1 安装：  yum install iptables-services
		2.2 关闭： service iptables stop & chkconfig iptables off
		2.3 检查: service iptables status

2.2 方法二:

1. 关闭：systemctl stop firewalld.service
2. 永久关闭: systemctl disable firewalld.service
3. 检查: firewall-cmd --state

3. 添加域名

打开配置文件添加一下内容：

	1. 打开文件：  vim /etc/hosts`
	2. 添加：
			192.168.1.100 master
			192.168.1.101 s1

验证:

ping s1   / ping master  

4.修改selinux中的配置文件

vim /etc/selinux/config

5. ssh免密登录（全部操作用root执行）

5.1 用 vim /etc/hosts往 hosts中添加以下内容(ip 和主机名)

192.168.1.100 master
192.168.1.101 s1

5.2 将 /etc/hosts文件拷贝到从机文件中:

scp /etc/hosts root@192.168.1.101:/etc/hosts

5.3 生成密钥对: (两台机字分别执行)

ssh-keygen -t rsa   # 中间直接敲三个回车会看到以下内容

在 /root/.ssh 路径下查看:(公钥和私钥)

ls

5.4 复制从节点的公钥放到主节点中:

scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.s1

检查:

5.5 将主节点和从节点的公钥添加到主节点的authorized_keys中:

cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.s1 >> authorized_keys

检查:

5.6 修改authorized_keys 文件的权限：(必须要做)

chmod 644 ~/.ssh/authorized_keys

5.7 拷贝authorized_keys 这个文件到从节点中:

scp /root/.ssh/authorized_keys s1:/root/.ssh/authorized_keys

验证:

四、Hadoop安装

4.1 解压：

 tar -zxvf software/hadoop-3.2.1.tar.gz 

4.2 重命名：

mv hadoop-3.2.1/ hadoop

4.3 配置环境变量:

4.3.1 配置文件1

vim /etc/profile.d/hadoop_etc.sh

写入:

export