Hadoop集群安装

最新推荐文章于 2024-08-20 14:32:56 发布

ZSup{A}

最新推荐文章于 2024-08-20 14:32:56 发布

阅读量490

点赞数

分类专栏： hadoop 文章标签： hadoop java 大数据

本文链接：https://blog.csdn.net/m0_62064241/article/details/126465257

版权

hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文档详细介绍了如何在Linux环境下安装和配置Hadoop，包括检查和卸载内置JDK，上传并解压JDK和Hadoop软件包，设置环境变量，验证安装成功以及了解Hadoop的重要目录结构。通过这些步骤，读者可以成功搭建Hadoop环境。

摘要由CSDN通过智能技术生成

一、集群规划

二、安装JDK和Hadoop

2.1：检查-下是否已经安装过或者系统内置JDK

[root@hadoop100 ~]# rpm -qa|grep -i java |xargs -n1

rpm -qa :查询安装的所有rpm软件包

gre -i：忽略大小写

xargs -n1：表示每次只传递一个参数

将查询到的内置jdk强制卸载

[root@hadoop100 ~]# rpm -e --nodeps

2.2 :上传jdk1.8.0，hadoop-3.2.2（借助xftp工具）

将jdk-8u301-linux-x64.tar.gz 、hadoop-3.2.2 上传到/opt/software中

2.3：解压jdk和hadoop到/opt/module 下
[root@hadoop100 software]# tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module

[root@hadoop100 software]# tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module

2.4：配置jdk 、hadoop的环境变量：/etc/profile.d/my_env.sh

[root@hadoop100 ~]# vim /etc/profile.d/my_env.sh

在my_env.sh文件中添加以下内容：

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_301

export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.2.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出：：x/:wq

2.5：使修改后的文件生效

[root@hadoop100 ~]# source /etc/profile

2.6: 测试是否安装成功

[root@hadoop100 ~]# java -version

java version “1.8.0_301”

[root@hadoop100 ~]# hadoop version

hadoop-3.2.2

2.7:重启（如果hadoop命令不能用再重启虚拟机）

[root@hadoop100 ~]# reboot

3.1：查看Hadoop目录结构

3.2：重要目录

(1)bin目录:存放对Hadoop相关服务(hdfs, yam, mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件日录，存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例