Ubuntu22.04 Hadoop3.3.2安装全过程记录

目录

一、初始环境

二、Hadoop安装及配置

三、配置hadoop环境

---

一、初始环境

Docker+ubuntu22.04+jdk8

二、Hadoop安装及配置

1.hadoop下载

两种方式：

1. 在本机上下载后传输到虚拟机中（注意：下载后缀不是src.tar.gz！！！）
2. 在linux终端输入如下命令直接安装

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz

2.解压Hadoop安装包

将hadoop的安装包解压到/usr/local目录下(需要权限）

sudo tar -zxvf hadoop-3.3.2.tar.gz -C /usr/local

切换到目录下，修改文件夹名字，便于后续使用

mv hadoop-3.3.2/ hadoop

三、配置hadoop环境

1.设置ssh

常规更新

sudo apt-get update

安装ssh

sudo apt-get install openssh-server

设置免密：通过如下命令设置无密码，过程直接回车，保存默认路径

ssh-keygen -t rsa -P ''

追加授权：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改权限：

chmod 600 ~/.ssh/authorized_keys

RSA认证：

sudo vim /etc/ssh/sshd_config

在最后补充如下配置：

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

重启SSH：

service ssh restart

2.环境变量配置

首先编辑环境变量：

sudo vim ~/.bashrc

在最后插入：

# hadoop

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

使环境变量生效：

source ~/.bashrc

然后输入

hadoop version

验证安装

参考博文：Hadoop开发环境的搭建与配置（基于Linux）_Drajor的博客-CSDN博客_hadoop开发环境搭建