Hadoop简介、安装与环境变量配置_hadoop环境变量

于 2025-01-31 16:45:37 发布
阅读量2.1k 收藏 42
点赞数 21
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2501_90404875/article/details/145406316
版权

Hadoop作为大数据框架，更多的是作为集群面向服务器使用，所以本系列的内容以Linux服务器为主。为更好的学习使用Hadoop，在低成本的条件下，推荐可以通过docker、podman之类的容器手段启动容器开启集群的方式来更好的学习Hadoop（有条件的可以选择虚拟机或上云）。

Hadoop是一个用Java语言开发的大数据框架，Hadoop的使用依赖于Jre，所以在正式安装配置Hadoop前，我们需要先安装配置好Java环境。
目前最新版的Hadoop官方文档显示，Hadoop支持Java8和Java11（运行时）。为了更好的兼容Hadoop的使用，本系统采用OpenJDK SE 8版本。

OpenJDK SE 8下载

wget https://download.java.net/openjdk/jdk8u43/ri/openjdk-8u43-linux-x64.tar.gz

解压到指定目录

大数据的学习和使用都是集群化的，为更好的进行集群设置，请尽量保证相同的操作系统和应用层配置。如，将软件和配置文件写在指定路径下，不要随意修改。

mkdir -p ${Software}/jdk
tar -xzvf openjdk-8u43-linux-x64.tar.gz --strip-components 1 -C ${Software}/jdk
  • 直接解压会生成父目录，Java的版本不同会造成父目录的不同，所以在此处使用指定路径的方式，方便后期更好的升级环境
  • 在这里和之后中通过${}表明根据自己的环境自定义值
  • 指定路径解压前，通过mkdir -p命令确保指定路径存在
  • –strip-components Number：解压时清除Number个引导目录，一般情况下，Number为1表示不包含打包前原目录
  • -C：指定解压路径

Java安装与环境变量配置

Linux的环境变量设置一般为在相应的文件中添加环境变量信息。根据使用权限的不同，可以配置不同的环境变量。

  • 当前用户环境变量：~/.bash_profile
    • ~：当前用户的工作路径
  • 全局环境变量：/etc/profile

在这里我们以全局环境变量为例，配置Java环境变量。Java环境变量主要为配置JAVA_HOME，PATH。Java环境变量可以通过如vim手动打开写入方式，也可通过标准流输出追加文件内容方式写入，为更好的方便后期集群中环境脚本的开发，这里采用标准流输出追加文件内容方式配置环境变量。

echo "# >>> jdk initialize >>>" >> /etc/profile
echo "export JAVA\_HOME=${Software}/jdk" >> /etc/profile
echo "export PATH=${JAVA\_HOME}/bin:${PATH}" >> /etc/profile
echo "# <<< jdk initialize <<<" >> /etc/profile
  • 开头和结尾的主要是为了标识Java安装位置，为注释内容，不生效
  • Linux中>>表示为文档后追加文件内容
  • 若无法写入，检查是否是权限的问题，可以切换为root账号执行操作。或写入自己环境中的配置文件

重载环境变量配置文件

将环境变量写入配置文件后，环境变量不会立即生效，需要重新加载配置文件，Linux中使用source命令重新加载配置文件。

source /etc/profile

环境配置测试

执行java -version和javac -version有正确的输出即表示Java环境配置成功。

$ java -version
openjdk version "1.8.0\_43"
OpenJDK Runtime Environment (build 1.8.0_43-b03)
OpenJDK 64-Bit Server VM (build 25.40-b25, mixed mode)

$ javac -version
javac 1.8.0_43

Hadoop安装与环境变量配置

固定IP

在集群中，最重要的就是主机与主机之间能够相互访问到。所以需要通过相应的标识来识别到对应的节点。在计算机中，可以通过域名和IP地址的方式识别到相应的服务器，在Hadoop集群的配置中也是如此。在同一网段下，进行IP设置，可以考虑采用静态IP的方式而不是DHCP动态IP，防止节点IP发生变化无法访问。

  • 在使用云系统的情况下，请先自己购买云服务器的平台先设置VPC（Virtual Private Cloud）云虚拟局域网，然后在购买主机，保证购买的主机在同一个局域网，能够相互访问
  • 本系统采用容器的方式组集群，借助容器的VIP虚拟IP的概念，可以不用考虑固定容器内部IP，而是通过容器名（类似于域名）的方式访问节点
  • 虚拟机组集群用户可网上自行搜索资料，固定自己的IP

为方便访问子节点（IP不好记），可以考虑为自己的集群节点配置一个本地的host，这样可以直接用类似域名的方式直接访问集群节点。
Linux中将host主机名映射配置写在/etc/hosts文件中，这样之后直接访问`

H

o

s

t

M

a

p

N

a

m

e

{HostMapName}

HostMapName就可以访问相应的节点。

sudo echo "${StaticIP} ${HostMapName}" >> /etc/hosts

设置SSH免密登录

Hadoop在启动时，只需要在主节点执行Hadoop执行脚本，Hadoop会自动根据配置启动主从节点的服务。但是Hadoop在启动服务时，主节点需要访问所有节点，然后从相应节点中启动守护进程，所以配置主节点到所有节点之间的免密登录（包括主节点到主节点自身之间的免密登录）。

生成SSH密钥
ssh-keygen -t rsa -b 4096 -f ～/.ssh/id_rsa -N "" -q
  • -t：指定生成密钥的算法参数
    • rsa：默认非对称加密算法，加解密速度慢，生成时间慢，安全性不如ed25519算法，但兼容性高，应用广泛
    • ed25519：带椭圆曲线的非对称加密算法，加解密速度快，生成速度快，安全性更高
    • ed25519-sk：-sk代表安全密钥
    • dsa：安全性不高，基本不在使用，在部分的场景中已被遗弃
    • ecdsa：带椭圆曲线的dsa算法
    • ecdsa-sk
  • -b：指定密钥长度
  • -f：保存密钥的文件路径
  • -N：提供一个新密码，""表示密码为空
  • -q：静默模式，直接输出密钥对，不输出实现过程中产生的信息
  • 通过设置-f，-N，-q参数，直接生成密钥，而不是交互式生成密钥，方便后期集群脚本的开发
设置免密登录
ssh-copy-id ${HostMapName}

使用ssh-copy-id可以将公钥传输到指定的主机上。但是在使用ssh-copy-id传输公钥时，需要输入相应的账户和密码，所以可以通过sshpass来执行免密操作。

sshpass -p ${USER\_PASSWORD} ssh-copy-id ${HostMapName}

Hadoop的下载

Hadoop 下载地址

这里选择写本文时的最新版3.3.6进行下载

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压到指定位置

tar -xzvf hadoop-3.3.6.tar.gz --strip-components 1 -C ${Software}/hadoop

环境变量配置

系统环境变量
echo "# >>> hadoop initialize >>>" >> /etc/profile
echo "export HADOOP\_HOME=${Software}/hadoop" >> /etc/profile
echo "export HADOOP\_CONF\_DIR=${HADOOP\_CONF\_DIR}/etc/hadoop" >> /etc/profile
echo "export HADOOP\_LOG\_DIR=${HADOOP\_LOG\_DIR}" >> /etc/profile
echo "export HADOOP\_DATA\_HOME=${HADOOP\_DATA\_HOME}" >> /etc/profile
echo "export PATH=${HADOOP\_HOME}/bin:${PATH}" >> /etc/profile
echo "export PATH=${HADOOP\_HOME}/sbin:${PATH}" >> /etc/profile
echo "# <<< hadoop initialize <<<" >> /etc/profile
  • bin：一般存放着软件的相关执行文件
  • sbin：hadoop的super bin目录。是Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。
${HADOOP_CONF_DIR}/workers工作节点配置

workers主要功能为记录所有的数据节点的主机名或IP地址。将集群的所有节点的主机名或者IP地址写入workers文件即可。

node1
node2
node3
${HADOOP_CONF_DIR}/hadoop-env.sh环境变量配置

在Hadoop中，一些环境变量无法读取系统的环境变量，所以需要配置在hadoop-env.sh文件中，理论上讲，只需要配置JAVA_HOME路径，其他的可以采用默认路径。

echo "export JAVA\_HOME=${JAVA\_HOME}" >> ${HADOOP\_CONF\_DIR}/hadoop-env.sh
【项目实战】在win10上安装配置Hadoop的环境变量
本本本添哥
05-09 3067
在win10操作系统上，运行Hadoop以及其相关依赖包（比如Hbase依赖包）时，我遇到的情况是，我需要使用SpringBoot+Phoenix的组合去连接Hbase。这往往是需要在本机（Windows 10 ）上安装配置 Hadoop 环境变量才能够得到返回值的。以下是具体的安装配置 Hadoop 环境变量的步骤。
hadoop配置环境变量
weixin_30663391的博客
05-31 394
hadoop安装包解压 tar -xvf hadoop-2.7.7.tar.gz 解压成功ll查看文件 配置环境变量 1. vi /home/wj/hadoop-2.7.7/etc/hadoop/hadoop-env.sh 修改export JAVA_HOME={$JAVA_HOME} 为 exportJAVA_HOME=/usr/java/jdk1.8.0_162/ 2....
Hadoop学习笔记—1.基本介绍与环境配置
deguotiantang的专栏
02-28 1183
hadoop hdfs mapreduce
windows下面的hadoop环境变量
10-26
windows下面的hadoop的bin目录； Failed to locate the winutils binary in the hadoop binary path
配置hadoop环境变量
2301_80318713的博客
03-28 1956
在master虚拟机中上传hadoop-3.1.4.tar.gz压缩包安装到目录/opt/software下。配置完Hadoop环境变量后生效环境变量的配置 source /etc/profile。验证Hadoop环境变量是否成功 hadoop version。hadoopl路径：进入Hadoop文件夹下。生效命令：scource /etc/profile。HADOOP_HOME=（Hadoop路径）验证：hadoop version。配置Hadoop环境变量。
hadoop的环境变量配置
Z17562766873的博客
12-02 1172
在该窗口中点击[新建]，然后输出上图中最后两行内容，指出hadoop中的bin目录和sbin目录,其中%表示引用这个变量名下的变量值，分号表示多个变量环境之间的间隔，这里相当于引用了HADOOP_HOME中的值F:\hadoop-3.3.0，再跟后面的bin和sbin拼接在一起，结合起来就是路径F:\hadoop-3.3.0\sbin目录和F:\hadoop-3.3.0\bin目录。下载安装包之后，解压安装包，自己选择文件夹进行解压，不过要注意文件夹和目录的名称，解压完成之后进行本地环境变量的配置。
配置Hadoop环境变量
2301_80318717的博客
03-28 914
1.停止NetworkManager服务 2.查看NetworkManager服务状态 3.移除NetworkManger服务 4.进入/opt/module目录 5.进入/etc/profile.d/my_env.sh,编辑Hadoop环境变量 6.进入hadoop-3.1.4，使用pwd查看路径 7.进入/etc/profile.d/my_env.sh，补全路径 8.生效环境变量的配置 9.验证环境是否安装成功 注意：如果配置文件输错，显示未找到命令，改正的方法： 10.返回/opt
Hadoop配置环境变量（详解版）
CZXY18ji的博客
11-08 6399
1.运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. **这是因为windows环境变量不兼容的原因解决办法： 首先需要下载 hadoop的tar.gz包，前提是JDK必须配置成功，存放路径不能有中文 配置环境变量此电脑–属性–高级...
单机伪分布hadoop-spark配置_Spark!_spark_spark配置_hadoop_
10-01
2. **配置环境变量**: 与Hadoop类似，设置SPARK_HOME并添加到PATH。 3. **修改Spark配置**: 在`conf/spark-env.sh`中，设置`SPARK_MASTER`为`local[*]`，表示Spark将在本地启动多个工作线程。同时，根据需要配置...
centOS安装Hadoop时环境变量JAVA_HOME配置
ZhifanSk的博客
04-09 1471
Hadoop安装单节点的官方文档戳这里????Hadoop: Setting up a Single Node Cluster. 但是环境变量JAVA_HOME的配置是依据具体情况的，而这点在官方文档中没有明确的叙述。 通常情况下JAVA_PATH应该被设置为/usr/lib/jvm中的jdk，可以通过ls /usr/lib/jvm命令查看 明确需要指向的jdk的文件名，JAVA_HOME应该被设置为/...
Hadoop-Installing.rar_hadoop_hadoop安装_分布式
09-24
配置Hadoop的环境变量，包括`HADOOP_HOME`、`JAVA_HOME`等。接着，配置Hadoop的配置文件，如`core-site.xml`（定义HDFS的属性）、`hdfs-site.xml`（设置HDFS的副本数和存储策略）和`mapred-site.xml`（定义MapReduce...
Hadoop配置环境变量
热门推荐
大黄的博客
09-15 1万+
为了在任何目录下都能直接使用hdfs或者yarn命令（或者启动关闭hadoop），我们需要配置Hadoop的环境变量。 命令如下： sudo vi /etc/profile 环境变量配置为如下所示： export HADOOP_HOME=/home/lemaker/open-source/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 第一行的的HADOOP_HOME是你的hadoop安装的位置。 然后保存环境变量，千万
hadoop环境变量
zhzh5275的博客
12-29 496
需要在hadoop-env.sh中添加以下内容，否则hadoop会报错 export JAVA_HOME=pathtojava
Hadoop 环境配置
weixin_51568626的博客
08-25 6366
Hadoop完全分布式集群配置
hadoot配置环境变量win_Windows 下Hadoop的环境变量配置
weixin_39932344的博客
12-19 181
一、安装JDK1、下载路径：http://www.oracle.com/technetwork/java/javase/downloads/index.html2、安装到C:\Java\jdk1.8.0_121(安装时不要安装到有空格的目录路径中，这样Hadoop在找JAVA_HOME的时候会找不到)二、配置Java环境变量1、JAVA_HOME:C:\Java\jdk1.8.0_1212、C...
Linux安装hadoop-配置Hadoop环境变量
weixin_43558205的博客
02-09 5781
Linux安装hadoop-配置Hadoop环境变量 一、安装Hadoop 进入到Hadoop安装包路径下cd /opt/software/ 解压安装文件到/opt/module下面tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 二、配置环境变量 修改配置文件 sudo vim /etc/profile.d/my_env.sh 在文件末尾添加以下内容： #HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop
Hadoop安装并配置环境变量(测试版)
qq_43325476的博客
01-04 2552
Hadoop的非集群版搭建
hadoop修改配置文件和环境变量_hadoop命令环境变量export配置(1)
2401_84186067的博客
04-27 807
在我们安装好hadoop之后，需要对其内部的一些配置文件进行修改，以满足特定的需求和环境，确保Hadoop集群的正常运行和数据的正确处理。我们要修改的就是主要的自定义配置文件。
怎么设置Hadoop环境变量
最新发布
03-31
<think>好的，用户现在问的是怎么设置Hadoop环境变量。之前他们遇到了找不到文件的问题，现在可能已经解决了路径或者权限的问题，现在想进一步配置环境变量。首先，我需要回想之前给出的回答中提到的环境变量相关的内容，比如在“路径配置错误”部分提到过检查HADOOP_HOME和JAVA_HOME的设置。用户现在可能想详细了解如何正确设置这些变量，避免之前的错误。 接下来，我需要考虑用户的使用场景。他们可能是在搭建Hadoop集群的过程中，或者在配置多节点环境，需要确保所有节点环境变量一致。用户的身份可能是刚开始学习Hadoop的开发者或者系统管理员，对Linux环境变量配置有一定了解，但可能不够熟悉Hadoop的具体要求。 用户的需求是设置环境变量，但可能更深层次的需求是确保Hadoop能够正常运行，避免因为环境变量配置错误导致的各种问题，比如命令找不到、启动失败等。因此，在回答时不仅要给出步骤，还需要强调关键点，比如路径的正确性、不同配置文件的作用、如何验证设置是否生效等。 需要分步骤讲解，首先设置HADOOP_HOME，然后设置PATH，接着配置Java环境，可能还要提到Hadoop自带的配置文件（如hadoop-env.sh），以及系统级和用户级的配置文件的区别。另外，考虑到用户可能在不同的操作系统或者不同的Shell（比如bash、zsh）环境下，需要给出通用的方法，同时提醒他们根据实际情况调整。 还要注意用户可能的误区，比如直接在命令行中临时设置变量导致重启后失效，或者修改了错误的配置文件。需要提醒他们将环境变量写入正确的启动文件，并说明测试方法，比如用echo命令检查变量是否正确加载。此外，可能还需要提到多节点环境下如何同步环境变量，或者权限问题，比如是否需要使用root权限修改系统级配置文件。 最后，总结关键点，强调验证步骤的重要性，确保用户按照步骤操作后能正确设置环境变量，避免后续出现问题。同时，可以建议用户在修改配置文件前备份，防止配置错误导致系统问题。</think>以下是设置Hadoop环境变量的完整指南，分步骤说明： --- ### 一、核心环境变量清单 必须配置的3个关键变量： 1. **HADOOP_HOME** Hadoop安装根目录 ```bash export HADOOP_HOME=/opt/hadoop-3.3.6 ``` 2. **PATH** 添加Hadoop可执行文件路径 ```bash export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. **JAVA_HOME** Hadoop运行依赖的JDK路径 ```bash export JAVA_HOME=/usr/java/jdk1.8.0_381 ``` --- ### 二、配置方法（按优先级排序） #### 方法1：全局配置（推荐） **适用场景**：所有用户生效 **配置文件**：`/etc/profile` 或 `/etc/profile.d/hadoop.sh` ```bash sudo nano /etc/profile.d/hadoop.sh ``` ```bash # 添加以下内容 export HADOOP_HOME=/opt/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/usr/java/jdk1.8.0_381 ``` #### 方法2：用户级配置 **适用场景**：仅当前用户生效 **配置文件**：`~/.bashrc` 或 `~/.bash_profile` ```bash nano ~/.bashrc ``` ```bash # 添加相同内容 export HADOOP_HOME=/opt/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/usr/java/jdk1.8.0_381 ``` #### 方法3：Hadoop专用配置 **适用场景**：Hadoop进程运行时专用 **配置文件**：`$HADOOP_HOME/etc/hadoop/hadoop-env.sh` ```bash # 找到并修改以下参数 export JAVA_HOME=/usr/java/jdk1.8.0_381 export HADOOP_HOME=/opt/hadoop-3.3.6 ``` --- ### 三、生效与验证 1. **立即生效** ```bash source /etc/profile # 全局配置生效 source ~/.bashrc # 用户级配置生效 ``` 2. **验证配置** ```bash echo $HADOOP_HOME # 应返回/opt/hadoop-3.3.6 hadoop version # 应显示Hadoop版本信息 which hdfs # 应显示$HADOOP_HOME/bin/hdfs ``` --- ### 四、关键注意事项 1. **路径一致性** - `JAVA_HOME`必须指向JDK安装目录，不是JRE目录 - Hadoop安装路径不要包含空格或中文 2. **配置文件优先级** ```text hadoop-env.sh > ~/.bashrc > /etc/profile ``` 3. **多节点集群** 所有工作节点需保持环境变量配置完全一致 4. **SSH连接问题** 如果使用SSH远程执行命令，需确保目标节点的环境变量已正确加载 --- ### 五、典型错误排查 1. **命令未找到** ```bash # 检查PATH是否包含$HADOOP_HOME/bin echo $PATH | tr ':' '\n' | grep hadoop ``` 2. **Java版本冲突** ```bash $JAVA_HOME/bin/java -version # 验证实际使用的JDK ``` 3. **权限问题** ```bash ls -ld $HADOOP_HOME # 确保执行用户有读取权限 ``` --- **推荐配置流程**： 1. 在`/etc/profile.d/`创建专用配置文件 2. 在`hadoop-env.sh`中补充Java路径 3. 通过`source`命令激活配置 4. 使用`hadoop checknative`验证环境完整性
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值