Hadoop运行搭建——系统配置和Hadoop的安装

Hadoop运行搭建

前言:
本文原文发在我自己的博客小站,直接复制文本过来,所以图片不显示(我还是太懒啦!)想看带图版的请移步我的博客小站~

Linux镜像:CentOS7

系统安装:CentOS安装参考教程

系统网卡设置:

系统配置信息:

  • hadoop100:

    • 用户名:user

    • 密码:***

    • 内网IP:192.168.62.140

本博客参考(转载)教程:Hadoop入门

声明:本博客仅作为笔者小白自己学习,作为流程记录方便自己理解

一、虚拟机环境准备

1.检查虚拟机网络

先检查虚拟机是否可以与外网连接,ping一下百度瞅瞅(如果提示没有ping命令,先下载一下网络工具包yum install net-tool)。

ping baidu.com

2.添加软件源

yum update	#养成先更新一下的好习惯
yum install -y epel-release

3.关闭防火墙

方便之后的操作,防止出现由于防火墙安全策略而产生的错误。

systemctl stop firewalld	#关闭防火墙
systemctl disable firewalld.service #关闭防火墙开机自启

4.设置用户账号(按需设置)

useradd Tom	#添加用户
passwd Tom	#修改用户密码

5.给用户添加管理员权限(按需设置)

vim /etc/sudoers	#先切换到root用户,才能执行此命令

找到%wheel(大概在99行,vim设置显示行号命令为“:set nu"),在该项下面添加刚才创建的用户的配置。

为用户添加sudo权限

在网上教程看到的注意事项:”添加user这一行不要直接放到 root行下面,因为所有用户都属于 wheel组,你先配置了user具有免密功能,但是程序执行到 %wheel行时, 该功能又被覆盖回需要密码 。所以user要放到 %wheel这行下面。“

6.创建工作文件夹

在/opt目录下创建文件夹方便一会进行文件传输,并修改所属用户和所属组。

mkdir /opt/module
mkdir /opt/software
chown user:user /opt/module
chown user:user /opt/software

7.卸载虚拟机自带JDK

虚拟机自带的JDK版本可能与Hadoop所需的JDK版本不同。如果两者版本不兼容,可能导致Hadoop无法正常运行。卸载自带JDK可以避免版本冲突、减少资源占用、降低管理复杂性,并提升Hadoop的性能。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

命令解释:

rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e --nodeps:强制卸载软件

8.重启虚拟机

reboot

二、克隆虚拟机

1.克隆创建虚拟机

我们需要构建好几台类似配置的虚拟机,直接克隆已配置好的hadoop100模板节省时间。

怎么克隆???直接复制虚拟机的所在文件夹,拷贝几份就可以了~

克隆虚拟机

在VM中打开刚才复制下来的虚拟机,修改一下虚拟机名称方便区分。

更改虚拟机名称

2.修改克隆虚拟机IP

不同的虚拟机设置独立IP,设置连续的IP方便处理,设置hadoop102为例,仅修改IP地址,其余不要动,103、104同理。(如果hadoop100静态IP没有就没有设置好,请参考这篇CentOS配置静态IP)

vim /etc/sysconfig/network-scripts/ifcfg-ens32 
修改虚拟机IP

3.配置克隆机主机名映射

以Hadoop102为例,其余虚拟机同样操作。

  • 修改主机名称(这步没搞清楚要干啥,先空着)
vim /etc/hostname 
  • 配置Linux克隆机主机名称映射hosts文件 打开/etc/hosts
vim /etc/hosts

添加以下映射配置(IP地址按实际修改):

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

192.168.62.140 hadoop100	#写出一条样例,方便复制粘贴
  • 重启克隆机
reboot

剩余的虚拟机重复以上操作即可(ps:记得从第2步修改克隆虚拟机IP开始~)。

  • 配置主机映射文件

以上映射文件配置完成后,修改Windows的主机映射文件。进入C:\Windows\System32\drivers\etc路径,打开 hosts文件(用记事本打开,可以看到里边空空如也),添加并保存以下内容 (和刚才在虚拟机配置的一样)。

配置Windows主机映射文件

三、安装JDK

仍然先以Hadoop103为例。

1.检查JDK

确保已卸载虚拟机自带JDK。

java -version	#先查看,如果返回版本信息则说明没有卸载
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps	#卸载JDK命令,1.7已解释

2.安装JDK

  • 下载JDK

JDK可以在主机下载好之后再通过FTP传给虚拟机(虚拟机搭建FTP服务器的方法有很多,这里不再赘述,小白可移步Linux搭建FTP服务器参考文章),由于我们使用VMware,可以直接从Windows复制粘贴到虚拟机(偷懒,想要掌握技术不建议)。

官网下载有一捏捏麻烦,下载速度也些许感人,我们直接在清华大学镜像下载openJDK8清华源JDK8下载链接

https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/

单击它开始下载下载JDK

下载完成之后用FTP工具传给虚拟机,传输过程省略。

这里我直接从Windows主机粘贴到虚拟机目录,一步到位hhh~

将JDK传给虚拟机
  • 将JDK导入软件工作目录

将刚才的JDK存放到/opt/software/路径下。(注意,虚拟机没有经过配置的话无法输入中文,如果懒得去配置可以鼠标选中中文部分右键复制,再在你的命令行右键粘贴。)

(小tip:在输入文件名字时过长不用一个个准确输入,只需输入文件前缀,然后按Tab键自动补全即可)

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 将JDK解压到/opt/module
tar -zxvf /opt/software/OpenJDK8U-jdk_x64_linux_hotspot_8u402b06.tar.gz -C /opt/module/

3.配置JDK环境变量

  • 配置环境变量
ls /opt/module/		#先查看当前jdk包
sudo nano /etc/profile.d/my_env.sh 
配置JDK环境变量
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk8u402-b06	#这里要与刚才看到的JDK包一致
export PATH=$PATH:$JAVA_HOME/bin

引入刚配置的环境变量文件

source /etc/profile
  • 测试JDK是否可用
java -version
查看JDK版本

返回JDK版本信息,说明安装JDK成功~

四、安装Hadoop

1.安装Hadoop

  • 下载Hadoop

hadoop下载链接(有点慢,可能需要一些魔法)

  • 导入Hadoop软件包

通过FTP或者其他方式将刚下载的包导入/opt/software/目录

cp /home/user/下载/hadoop-3.3.6-aarch64.tar.gz /opt/software/
ls /opt/software/	#查看是否已复制

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 解压Hadoop
tar -zxvf /opt/software/hadoop-3.3.6-aarch64.tar.gz -C /opt/module/
ls /opt/module/		#查看是否解压成功
Hadoop解压成功

2.配置Hadoop环境变量

  • 添加Hadoop环境变量
sudo vim /etc/profile.d/hadoop_env.sh

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.6	#与刚才解压的Hadoop包保持一致
export PATH=$PATH:$HADOOP_HOME/bin
  • 加入新配置的环境变量
source /etc/profile
  • 检查Hadoop可用性
hadoop version
验证Hadoop可用性

返回版本信息,Hadoop安装成功并添加进环境变量~

  • 重启虚拟机

刚配置完环境变量,重启电脑检查配置是不是临时性的,避免等到用时因配置恢复而造成不知名错误.

reboot

五、配置SSH免密登录

刚刚我们配置了三台虚拟机Hadoop102、Hadoop103和Hadoop104,他们之间的配置好了主机名映射。接下来通过SSH配置交互。

1.生成SSH密钥对

  • 进入密钥存放路径
cd /home/user/.ssh/		#进入用户目录,如果没有就先创建
  • 生成密钥对

注意,我们要以用户账户生成密钥对,只有这三台虚拟机中的主要控制机才使用root账号生成密钥对。这么做的目的是权限管理。(这里贪方便我全部使用root账号生成密钥)

ssh-keygen -t rsa	#(注意密钥对的保存路径)然后摁回车3次

使用ls命令查看是否生成密钥对

生成SSH密钥对

2.上传公钥

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
上传SSH公钥

3测试SSH免密登录

ssh 'hadoop103'
测试免密登录

登陆成功。

接下来切换虚拟机重复以上操作(略)。

  • 29
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值