Hadoop运行搭建——系统配置和Hadoop的安装

Hadoop运行搭建

前言：
本文原文发在我自己的博客小站，直接复制文本过来，所以图片不显示(我还是太懒啦！)想看带图版的请移步我的博客小站~

Linux镜像：CentOS7

系统安装：CentOS安装参考教程

系统网卡设置：

• 参考教程：CentOS配置静态IP

• NAT参数：

系统配置信息：

• hadoop100：

  • 用户名：user

  • 密码：***

  • 内网IP：192.168.62.140

本博客参考(转载)教程：Hadoop入门

声明:本博客仅作为笔者小白自己学习,作为流程记录方便自己理解

一、虚拟机环境准备

1.检查虚拟机网络

先检查虚拟机是否可以与外网连接，ping一下百度瞅瞅（如果提示没有ping命令，先下载一下网络工具包yum install net-tool）。

ping baidu.com

2.添加软件源

yum update	#养成先更新一下的好习惯
yum install -y epel-release

3.关闭防火墙

方便之后的操作，防止出现由于防火墙安全策略而产生的错误。

systemctl stop firewalld	#关闭防火墙
systemctl disable firewalld.service #关闭防火墙开机自启

4.设置用户账号(按需设置)

useradd Tom	#添加用户
passwd Tom	#修改用户密码

5.给用户添加管理员权限(按需设置)

vim /etc/sudoers	#先切换到root用户，才能执行此命令

找到%wheel(大概在99行，vim设置显示行号命令为“:set nu")，在该项下面添加刚才创建的用户的配置。

在网上教程看到的注意事项：”添加user这一行不要直接放到 root行下面，因为所有用户都属于 wheel组，你先配置了user具有免密功能，但是程序执行到 %wheel行时， 该功能又被覆盖回需要密码 。所以user要放到 %wheel这行下面。“

6.创建工作文件夹

在/opt目录下创建文件夹方便一会进行文件传输，并修改所属用户和所属组。

mkdir /opt/module
mkdir /opt/software
chown user:user /opt/module
chown user:user /opt/software

7.卸载虚拟机自带JDK

虚拟机自带的JDK版本可能与Hadoop所需的JDK版本不同。如果两者版本不兼容，可能导致Hadoop无法正常运行。卸载自带JDK可以避免版本冲突、减少资源占用、降低管理复杂性，并提升Hadoop的性能。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

命令解释：

​ rpm -qa：查询所安装的所有rpm软件包
​ grep -i：忽略大小写
​ xargs -n1：表示每次只传递一个参数
​ rpm -e --nodeps：强制卸载软件

8.重启虚拟机

reboot

二、克隆虚拟机

1.克隆创建虚拟机

我们需要构建好几台类似配置的虚拟机，直接克隆已配置好的hadoop100模板节省时间。

怎么克隆？？？直接复制虚拟机的所在文件夹，拷贝几份就可以了~

在VM中打开刚才复制下来的虚拟机，修改一下虚拟机名称方便区分。

2.修改克隆虚拟机IP

不同的虚拟机设置独立IP，设置连续的IP方便处理，设置hadoop102为例，仅修改IP地址，其余不要动，103、104同理。（如果hadoop100静态IP没有就没有设置好，请参考这篇CentOS配置静态IP)

vim /etc/sysconfig/network-scripts/ifcfg-ens32 

3.配置克隆机主机名映射

以Hadoop102为例，其余虚拟机同样操作。

• 修改主机名称(这步没搞清楚要干啥，先空着)

vim /etc/hostname 

• 配置Linux克隆机主机名称映射hosts文件 打开/etc/hosts

vim /etc/hosts

添加以下映射配置(IP地址按实际修改)：

192.168.62.140 hadoop100	#写出一条样例，方便复制粘贴

• 重启克隆机

reboot

剩余的虚拟机重复以上操作即可(ps：记得从第2步修改克隆虚拟机IP开始~)。

• 配置主机映射文件

以上映射文件配置完成后，修改Windows的主机映射文件。进入C:\Windows\System32\drivers\etc路径，打开 hosts文件(用记事本打开，可以看到里边空空如也)，添加并保存以下内容 (和刚才在虚拟机配置的一样)。

三、安装JDK

仍然先以Hadoop103为例。

1.检查JDK

确保已卸载虚拟机自带JDK。

java -version	#先查看，如果返回版本信息则说明没有卸载
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps	#卸载JDK命令，1.7已解释

2.安装JDK

• 下载JDK

JDK可以在主机下载好之后再通过FTP传给虚拟机(虚拟机搭建FTP服务器的方法有很多，这里不再赘述，小白可移步Linux搭建FTP服务器参考文章)，由于我们使用VMware，可以直接从Windows复制粘贴到虚拟机(偷懒，想要掌握技术不建议)。

官网下载有一捏捏麻烦，下载速度也些许感人，我们直接在清华大学镜像下载openJDK8清华源JDK8下载链接

https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/

单击它开始下载

下载完成之后用FTP工具传给虚拟机，传输过程省略。

这里我直接从Windows主机粘贴到虚拟机目录，一步到位hhh~

• 将JDK导入软件工作目录

将刚才的JDK存放到/opt/software/路径下。(注意，虚拟机没有经过配置的话无法输入中文，如果懒得去配置可以鼠标选中中文部分右键复制，再在你的命令行右键粘贴。)

(小tip：在输入文件名字时过长不用一个个准确输入，只需输入文件前缀，然后按Tab键自动补全即可)

• 将JDK解压到/opt/module

tar -zxvf /opt/software/OpenJDK8U-jdk_x64_linux_hotspot_8u402b06.tar.gz -C /opt/module/

3.配置JDK环境变量

• 配置环境变量

ls /opt/module/		#先查看当前jdk包
sudo nano /etc/profile.d/my_env.sh 

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk8u402-b06	#这里要与刚才看到的JDK包一致
export PATH=$PATH:$JAVA_HOME/bin

引入刚配置的环境变量文件

source /etc/profile

• 测试JDK是否可用

java -version

返回JDK版本信息，说明安装JDK成功~

四、安装Hadoop

1.安装Hadoop

• 下载Hadoop

hadoop下载链接(有点慢，可能需要一些魔法)

• 导入Hadoop软件包

通过FTP或者其他方式将刚下载的包导入/opt/software/目录

cp /home/user/下载/hadoop-3.3.6-aarch64.tar.gz /opt/software/
ls /opt/software/	#查看是否已复制

• 解压Hadoop

tar -zxvf /opt/software/hadoop-3.3.6-aarch64.tar.gz -C /opt/module/
ls /opt/module/		#查看是否解压成功

2.配置Hadoop环境变量

• 添加Hadoop环境变量

sudo vim /etc/profile.d/hadoop_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.6	#与刚才解压的Hadoop包保持一致
export PATH=$PATH:$HADOOP_HOME/bin

• 加入新配置的环境变量

source /etc/profile

• 检查Hadoop可用性

hadoop version

返回版本信息，Hadoop安装成功并添加进环境变量~

• 重启虚拟机

刚配置完环境变量,重启电脑检查配置是不是临时性的,避免等到用时因配置恢复而造成不知名错误.

reboot

五、配置SSH免密登录

刚刚我们配置了三台虚拟机Hadoop102、Hadoop103和Hadoop104，他们之间的配置好了主机名映射。接下来通过SSH配置交互。

1.生成SSH密钥对

• 进入密钥存放路径

cd /home/user/.ssh/		#进入用户目录，如果没有就先创建

• 生成密钥对

注意，我们要以用户账户生成密钥对，只有这三台虚拟机中的主要控制机才使用root账号生成密钥对。这么做的目的是权限管理。(这里贪方便我全部使用root账号生成密钥)

ssh-keygen -t rsa	#(注意密钥对的保存路径)然后摁回车3次

使用ls命令查看是否生成密钥对

2.上传公钥

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

3测试SSH免密登录

ssh 'hadoop103'

登陆成功。

接下来切换虚拟机重复以上操作(略)。