3.【hadoop集群搭建】配置Hadoop环境变量

最新推荐文章于 2025-01-31 16:45:37 发布
最新推荐文章于 2025-01-31 16:45:37 发布
阅读量1.3w 收藏 16
点赞数 3
分类专栏： 1基于虚拟机.hadoop集群搭建（CentOS7） 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YANG_xiao_QI/article/details/109719888
版权

本文环境配置文件较多可以根据目录找到需要部分

目录

1.配置hadoop-env.sh

(1)编辑hadoop-env.sh

vi  /hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh

(2)修改JAVA_HOME路径

注意：java_home指向的是你jdk的安装路径

export JAVA_HOME=/hadoop/jdk1.8.0_221

大概位置
在这里插入图片描述

如果忘记了一定要查看jdk安装所在的路径(安装vim命令yum install -y vim)

vim /etc/profile

2.配置yarn-env.sh

(1)编辑yarn-env.sh 

vi  /hadoop/hadoop-2.6.0/etc/hadoop/yarn-env.sh

(2)修改JAVA_HOME路径

export JAVA_HOME=/hadoop/jdk1.8.0_221

大概位置
在这里插入图片描述

3.配置核心组件core-site.xml

1、创建hadoopdata目录，用于存放数据落地到本地服务器的磁盘位置

mkdir /hadoop/hadoopdata

2、编辑core-site.xml文件

vi /hadoop/hadoop-2.6.0/etc/hadoop/core-site.xml

3、配置文件中添加内容

<configuration>
<!-- 指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoopdata</value>
#注意：文件的路径是否与之一致，不一致需修改（复制时这句话删除）
<description>Abasefor other temporary directories.</description>
</property>
</configuration>

大概位置
在这里插入图片描述

4.配置文件系统hdfs-site.xml

1.编辑hdfs-site.xml文件

vi /hadoop/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

2.添加指定hdfs副本数量

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

大概位置
请添加图片描述

5.配置yarn-site.xml

vi /hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml

添加

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value></property>
<property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name><value>master:18040</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

6.配置计算框架mapred-site.xml

1.创建mapred-site.xml文件

cp  /hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template   /hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml

2.编辑配置mapred-site.xml

vi  /hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml

<configuration>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
</configuration>

7.配置slave

vi /hadoop/hadoop-2.6.0/etc/hadoop/slaves

文件中添加以下内容：(一台master两台slave如下配置)

slave1
slave2

8.配置hadoop启动环境变量

1.编辑环境配置文件

#要知道hadoop的安装路径

vi /etc/profile

2.底部添加内容：

export HADOOP_HOME=/hadoop/hadoop-2.6.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.执行以下命令，环境变量才能生效

source /etc/profile

Hadoop 3.x集群搭建教程【图文】
教主的博客
03-02 2228
目录 一、配置服务器 1.1 .nat模式下的dhcp自动配ip 1.2 配置hosts 二、 配置ssh无密码访问 2.1 生成公钥密钥对 2.2 将子节点的公钥拷贝到主节点并添加进authorized_keys 2.3 最后测试是否配置成功 2.4 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件 三、安装jdk 3.1卸载jd...
Hadoop在windows中的环境变量设置
raininbrook的博客
04-05 6602
一、用户变量与系统变量的区别系统变量：是指系统环境变量，对所有用户起作用;用户变量：只对当前用户起作用。二、Hadoop在Windows10中的环境变量设置方法：1.安装JDK并配置Java环境变量1）安装JDK在C:\Program Files\Java\jdk1.8.0_112（可根据部署的实际情况）2）JAVA_HOME : C:\Program Files\Java\jdk1.8.0_11...
Hadoop配置环境变量（详解版）
CZXY18ji的博客
11-08 6397
1.运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. **这是因为windows环境变量不兼容的原因解决办法： 首先需要下载 hadoop的tar.gz包，前提是JDK必须配置成功，存放路径不能有中文 配置环境变量此电脑–属性–高级...
hadoop的环境变量配置
Z17562766873的博客
12-02 1161
在该窗口中点击[新建]，然后输出上图中最后两行内容，指出hadoop中的bin目录和sbin目录,其中%表示引用这个变量名下的变量值，分号表示多个变量环境之间的间隔，这里相当于引用了HADOOP_HOME中的值F:\hadoop-3.3.0，再跟后面的bin和sbin拼接在一起，结合起来就是路径F:\hadoop-3.3.0\sbin目录和F:\hadoop-3.3.0\bin目录。下载安装包之后，解压安装包，自己选择文件夹进行解压，不过要注意文件夹和目录的名称，解压完成之后进行本地环境变量的配置。
Hadoop简介、安装与环境变量配置_hadoop环境变量
2501_90404875的博客
01-31 2171
Hadoop作为大数据框架，更多的是作为集群面向服务器使用，所以本系列的内容以Linux服务器为主。为更好的学习使用Hadoop，在低成本的条件下，推荐可以通过docker、podman之类的容器手段启动容器开启集群的方式来更好的学习Hadoop（有条件的可以选择虚拟机或上云）。Hadoop是一个用Java语言开发的大数据框架，Hadoop的使用依赖于Jre，所以在正式安装配置Hadoop前，我们需要先安装配置好Java环境。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 5万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
Hadoop环境变量配置
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-12 1万+
Hadoop环境变量配置 1.一旦 Hadoop 集群启动并运行，可以通过 web-ui 进行集群查看，如下所述： NameNode（HDFS管理界面）：192.168.25.100:50070 或 node1:50070 ResourceManager（MR管理界面）：http://192.168.25.100:8088 或 node1:8088 2.配置 win...
hadoop 环境变量配置
Eric_LH的博客专栏
01-09 753
核心要点： 1.使用vim/vi/gedit等命令，打开/home/<用户名目录>/.bashrc文件gedit /home/hadoop/.bashrc2.对.bashrc文件执行source命令，使设置立即生效source /home/hadoop/.bashrc 在我的电脑上： hadoop的路径是： /usr/lib/hadoop hive的路径是： /usr/lib/hive找
配置hadoop环境变量
2301_80318713的博客
03-28 1954
在master虚拟机中上传hadoop-3.1.4.tar.gz压缩包安装到目录/opt/software下。配置完Hadoop环境变量后生效环境变量的配置 source /etc/profile。验证Hadoop环境变量是否成功 hadoop version。hadoopl路径：进入Hadoop文件夹下。生效命令：scource /etc/profile。HADOOP_HOME=（Hadoop路径）验证：hadoop version。配置Hadoop环境变量。
Hadoop配置环境变量
大黄的博客
09-15 1万+
为了在任何目录下都能直接使用hdfs或者yarn命令（或者启动关闭hadoop），我们需要配置Hadoop的环境变量。 命令如下： sudo vi /etc/profile 环境变量配置为如下所示： export HADOOP_HOME=/home/lemaker/open-source/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 第一行的的HADOOP_HOME是你的hadoop安装的位置。 然后保存环境变量，千万
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop
01-09
4. "细细品味Hadoop_Hadoop集群（第5期）_Hadoop安装配置.pdf"：这是关于Hadoop安装配置的高级部分，可能包括了Hadoop环境变量设置、配置文件修改等。 5. "细细品味Hadoop_Hadoop集群（第3期）_VSFTP安装配置.pdf...
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1303
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop配置环境变量
shawn的博客
04-09 398
打开配置文件 vim ~/.bash_profile 添加环境变量 # hadoop export HADOOP_HOME=/Users/shawn/Documents/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_...
配置Hadoop环境变量
2301_80318717的博客
03-28 911
1.停止NetworkManager服务 2.查看NetworkManager服务状态 3.移除NetworkManger服务 4.进入/opt/module目录 5.进入/etc/profile.d/my_env.sh,编辑Hadoop环境变量 6.进入hadoop-3.1.4，使用pwd查看路径 7.进入/etc/profile.d/my_env.sh，补全路径 8.生效环境变量的配置 9.验证环境是否安装成功 注意：如果配置文件输错，显示未找到命令，改正的方法： 10.返回/opt
Windows 下Hadoop的环境变量配置
浪迹的博客
08-08 2万+
一、安装JDK 1、下载路径：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、安装到C:\Java\jdk1.8.0_121（安装时不要安装到有空格的目录路径中，这样Hadoop在找JAVA_HOME的时候会找不到） 二、配置Java环境变量 1、JAVA_HOME : C:\Java\jdk1.8.
Linux安装hadoop-配置Hadoop环境变量
weixin_43558205的博客
02-09 5779
Linux安装hadoop-配置Hadoop环境变量 一、安装Hadoop 进入到Hadoop安装包路径下cd /opt/software/ 解压安装文件到/opt/module下面tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 二、配置环境变量 修改配置文件 sudo vim /etc/profile.d/my_env.sh 在文件末尾添加以下内容： #HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop
怎么设置Hadoop环境变量
最新发布
03-31
<think>好的，用户现在问的是怎么设置Hadoop环境变量。之前他们遇到了找不到文件的问题，现在可能已经解决了路径或者权限的问题，现在想进一步配置环境变量。首先，我需要回想之前给出的回答中提到的环境变量相关的内容，比如在“路径配置错误”部分提到过检查HADOOP_HOME和JAVA_HOME的设置。用户现在可能想详细了解如何正确设置这些变量，避免之前的错误。 接下来，我需要考虑用户的使用场景。他们可能是在搭建Hadoop集群的过程中，或者在配置多节点环境，需要确保所有节点环境变量一致。用户的身份可能是刚开始学习Hadoop的开发者或者系统管理员，对Linux环境变量配置有一定了解，但可能不够熟悉Hadoop的具体要求。 用户的需求是设置环境变量，但可能更深层次的需求是确保Hadoop能够正常运行，避免因为环境变量配置错误导致的各种问题，比如命令找不到、启动失败等。因此，在回答时不仅要给出步骤，还需要强调关键点，比如路径的正确性、不同配置文件的作用、如何验证设置是否生效等。 需要分步骤讲解，首先设置HADOOP_HOME，然后设置PATH，接着配置Java环境，可能还要提到Hadoop自带的配置文件（如hadoop-env.sh），以及系统级和用户级的配置文件的区别。另外，考虑到用户可能在不同的操作系统或者不同的Shell（比如bash、zsh）环境下，需要给出通用的方法，同时提醒他们根据实际情况调整。 还要注意用户可能的误区，比如直接在命令行中临时设置变量导致重启后失效，或者修改了错误的配置文件。需要提醒他们将环境变量写入正确的启动文件，并说明测试方法，比如用echo命令检查变量是否正确加载。此外，可能还需要提到多节点环境下如何同步环境变量，或者权限问题，比如是否需要使用root权限修改系统级配置文件。 最后，总结关键点，强调验证步骤的重要性，确保用户按照步骤操作后能正确设置环境变量，避免后续出现问题。同时，可以建议用户在修改配置文件前备份，防止配置错误导致系统问题。</think>以下是设置Hadoop环境变量的完整指南，分步骤说明： --- ### 一、核心环境变量清单 必须配置的3个关键变量： 1. **HADOOP_HOME** Hadoop安装根目录 ```bash export HADOOP_HOME=/opt/hadoop-3.3.6 ``` 2. **PATH** 添加Hadoop可执行文件路径 ```bash export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. **JAVA_HOME** Hadoop运行依赖的JDK路径 ```bash export JAVA_HOME=/usr/java/jdk1.8.0_381 ``` --- ### 二、配置方法（按优先级排序） #### 方法1：全局配置（推荐） **适用场景**：所有用户生效 **配置文件**：`/etc/profile` 或 `/etc/profile.d/hadoop.sh` ```bash sudo nano /etc/profile.d/hadoop.sh ``` ```bash # 添加以下内容 export HADOOP_HOME=/opt/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/usr/java/jdk1.8.0_381 ``` #### 方法2：用户级配置 **适用场景**：仅当前用户生效 **配置文件**：`~/.bashrc` 或 `~/.bash_profile` ```bash nano ~/.bashrc ``` ```bash # 添加相同内容 export HADOOP_HOME=/opt/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/usr/java/jdk1.8.0_381 ``` #### 方法3：Hadoop专用配置 **适用场景**：Hadoop进程运行时专用 **配置文件**：`$HADOOP_HOME/etc/hadoop/hadoop-env.sh` ```bash # 找到并修改以下参数 export JAVA_HOME=/usr/java/jdk1.8.0_381 export HADOOP_HOME=/opt/hadoop-3.3.6 ``` --- ### 三、生效与验证 1. **立即生效** ```bash source /etc/profile # 全局配置生效 source ~/.bashrc # 用户级配置生效 ``` 2. **验证配置** ```bash echo $HADOOP_HOME # 应返回/opt/hadoop-3.3.6 hadoop version # 应显示Hadoop版本信息 which hdfs # 应显示$HADOOP_HOME/bin/hdfs ``` --- ### 四、关键注意事项 1. **路径一致性** - `JAVA_HOME`必须指向JDK安装目录，不是JRE目录 - Hadoop安装路径不要包含空格或中文 2. **配置文件优先级** ```text hadoop-env.sh > ~/.bashrc > /etc/profile ``` 3. **多节点集群** 所有工作节点需保持环境变量配置完全一致 4. **SSH连接问题** 如果使用SSH远程执行命令，需确保目标节点的环境变量已正确加载 --- ### 五、典型错误排查 1. **命令未找到** ```bash # 检查PATH是否包含$HADOOP_HOME/bin echo $PATH | tr &#39;:&#39; &#39;\n&#39; | grep hadoop ``` 2. **Java版本冲突** ```bash $JAVA_HOME/bin/java -version # 验证实际使用的JDK ``` 3. **权限问题** ```bash ls -ld $HADOOP_HOME # 确保执行用户有读取权限 ``` --- **推荐配置流程**： 1. 在`/etc/profile.d/`创建专用配置文件 2. 在`hadoop-env.sh`中补充Java路径 3. 通过`source`命令激活配置 4. 使用`hadoop checknative`验证环境完整性
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值