hadoop学习中的常见问题及解决办法

最新推荐文章于 2023-03-08 20:48:46 发布
最新推荐文章于 2023-03-08 20:48:46 发布
阅读量3.7k 收藏 21
点赞数 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Soquel/article/details/118093766
版权

1.hadoop：找不到命令

原因：没有配置环境变量
解决办法：
在Linux环境内下输入export PATH=$PATH:/usr/local/hadoop/bin，检查hadoop命令是否可用 输入hadoop version
使hadoop命令永久生效方法：

如果第二次开机后，仍旧提示“hadoop：未找到命令”，那就是上次修改的$PATH 路径没有保存。

解决这个问题，就是直接将其添加到配置文件，有的配置文件在/etc/profile,有的在.bashrc文件里，我的是在.bashrc 中，下面将以此为例添加PATH路径。

vim ~/.bashrc #添加“ export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin ",引号中的内容,保存后退出
source ~/.bashrc #使修改后的 .bashrc文件生效
hadoop version #测试修改是否成功

2.bash ./ 没有那个文件或目录

ls明明有文件，但linux脚本执行会报错没有那个文件或目录
原因：没有32位的运行库 ia32-libs
解决办法：
sudo dpkg --add-architecture i386
sudo apt -get update
sudo apt-get dist-upgrade
如不成功尝试apt-get -f install 修复下载即可

3.无法启动start-dfs.sh

解决办法：
在解压的hadoop文件中的sbin文件中
vi 并编辑start-dfs.sh与stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述
vi 并编辑start-yarn.sh与stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述
再次重启dfs和yarn就能解决

4.开启集群后输入jps后缺少进程

解决：查看5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
修改文件workers
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件workers
将内容修改为Slave1

修改文件core-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件core-site.xml
将内容修改为如下

在这里插入图片描述

修改文件hdfs-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件hdfs-site.xml
将内容修改为如下

在这里插入图片描述

修改文件mapred-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件mapred-site.xml
将内容修改为如下

在这里插入图片描述

修改文件 yarn-site.xml
修改在/usr/local/hadoop/etc/hadoop目录下的配置文件yarn-site.xml
将内容修改为如下

在这里插入图片描述

5.hadoop集群启动namenode成功，而datanode未启动

原因：namenode的集群ID和datanode的集群ID不一致，导致只启动了namenode而未启动datanode
首先切换到存放namenode和datanode数据文件的目录

cd data/tmp/dfs/

查看NameNode的集群ID

vim name/current/VERSION

复制namenode的集群ID，替换datanode的集群ID
打开DataNode的集群ID，用NameNode的集群ID去替换它

vim data/current/VERSION

6.JAVA_HOME is not set and could not be found.

在“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”里面找到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址

7.虚拟机和主机相互ping不通

原因：
1.虚拟机防火墙禁ping
2.桥接设置的ip有冲突或者是虚拟机桥接服务不正常。
检查：
1.检查虚拟网卡有没有被禁用
2.检查虚拟机与物理机是否在一个VMNet中
3.检查虚拟机的IP地址与物理机对应的VMNet是否在一个网段
4.检查虚拟机与物理机的防火墙是否允许PING，否则可以尝试关闭防火墙

花鳥风月
关注
【橋本菜菜子】Linux上搭建Hadoop的常见问题
qq_52216732的博客
03-02 2445
1.1 引言 之前学云计算的时候只是单纯在实验室操作了一下，很多步骤都忘记了，找攻略的时候也很杂，于是记录最近在自己电脑上搭建Hadoop的时候遇到的一些问题以及相关的解决方案。 在安装Hadoop的同时，我发现hadoop-3.x版本中的hadoop-env.sh文件已经没有可供java环境配置更改的情况。因此如果想要安装hadoop-3.x的小伙伴可以参考一下3.x的配置文件修改方案，其余的步骤大致相同。 1.2教程链接 先放搭建Hadoop集群的教程链接： Hadoop-2.x：http.
搭建Hadoop集群——易出现问题及解决办法
weixin_46328436的博客
09-28 2323
一.学习目标 了解虚拟机的安装与克隆 熟悉Linux系统的网络配置和SSH的配置 掌握Hadoop集群的搭建和配置 掌握Hadoop集群的测试 熟悉Hadoop集群的初体验的操作 二.搭建 1.创建虚拟机 1.1 下载安装VMware Workstation 下载安装VMware Workstation （为了解决版本不兼容的问题，建议安装版本高一点） 1.2创建虚拟机并虚拟机启动初始化并克隆 1.3Linux 系统网络配置 进入编辑 点击虚拟网络编辑器 选择NAT模式，点击下方 更改设置 此
hadoop常见问题总结
....
09-29 5140
hadoop常见问题总结 正式接触hadoop全家桶已经有一年的时间了,期间也踩了很多坑, 大部分的坑踩完了之后也就过去了... 现在将从接触hadoop开始还有所记录的坑总结一下, 以此自省 1. mapRedue本地执行报错 : could not locate executable winutils.exe in the hadoop binaries 分析 : 从报错信息来看,是目录下...
大数据框架之Hadoop：入门（六）常见错误及解决方案
yiluohan0307的专栏
02-11 502
常见错误及解决方案
【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？
wyz0516071128的博客
06-10 608
（1） 浏览器问题 当你配置都完成了，你输入主机名+端口号去访问时，不能访问，但是你得确定前面的配置的哪些步骤都没有错，这可能是你浏览器的问题，我推荐用Chrome或者火狐，这两个基本上是可以的。（2） 域名问题 当你输入IP地址+端口号能访问时，这时你就得看看你的Windows上的映射是否配置成功，可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:...
解决hadoop 3.0.0配置过程中无法找到hadoop-env.sh的问题
热门推荐
watcher1230的博客
03-15 1万+
初次尝试安装配置Hadoop，并且使用了新版本3.0.0，依据网上教程进行安装过程中，在进行修改配置文件时候出现了问题：无法找到hadoop/conf/hadoop-env.sh。具体见图1。 网上各种搜索无果后决定自己找找看，想到了用WinSCP会不会有文件搜索功能，登陆后发现可以搜索，直接搜素hadoop-env.sh，找到了它的具体位置，包含在：/usr/local/hadoop/
hadoop常见问题及解决办法
07-06
Hadoop常见问题及解决办法汇总 Hadoop是一个基于Apache的开源大数据处理框架，广泛应用于大数据处理、数据分析和机器学习等领域。然而，在使用Hadoop时，经常会遇到一些常见的问题，这些问题可能会导致Hadoop集群...
Hadoop环境搭建过程中遇到的问题及解决方法
10-16
在搭建Hadoop环境的过程中，经常会遇到一些挑战，...通过以上步骤，可以有效解决Hadoop环境搭建过程中的常见问题，实现集群的顺利运行。同时，定期更新和维护环境，学习新的最佳实践，也是确保Hadoop环境稳定的关键。
hadoop学习常见问题(手动整理)
01-03
### Hadoop学习常见问题解析 #### Namenode问题 ##### cannotdeletenamenodeisinsafemode **问题描述**：当尝试向HDFS系统中放置数据时，可能会遇到`namenodeisinsafemode`的问题，即使使用了`Hadoop dfsadmin -...
关于hadoop学习伪分布式安装等以及遇到的问题及解决办法
赤蓝基族长
03-23 1519
一、介绍 本文首先介绍的是关于结合阿族在学习过程中遇到的问题解决办法，然后是安装的过程，qwq因为以前学linux的时候也没有认真听讲，就导致很多问题和错误，然后网上的很多解决办法和教程不一定适合每个人的情况和问题，但是在不断修改的过程也可以成长，再就是现在也有我自己遇到还没解决的问题。 二、错误 1、已解决的问题 ①关于关于设置静态IIP没什么好说的，我放几张图，自己一阿族开始在配置的时候漏了好多点 要根据网络编辑器的信息填写静态的ip地址设置不同的节点的时候静态Ip设置的地址在dhcp的范围就好
Hadoop集群在虚拟机下的安装配置
zxwwxzzxwwxz的博客
06-27 782
一.安装centos7.0 1.1配置VirtualBox 1.2centos环境配置 a.vi /etc/sysconfig/network-scripts/ifcfg-enp0s3配置 b.关闭防火墙 systemctl stop firewalld c.禁用防火墙，下次开机启动后防火墙服务不再启动 systemctl disable firewalld 1.3执行操作 a.连接上moba b.新建software目录：mkdir software c.把下载好的tomat和jdk包拖进去 输
Hadoop配置文件解析__hadoop-env.sh
feizuiku0116的博客
10-11 1297
# 配置Java的环境变量 export JAVA_HOME=/export/server/jdk1.8.0_65 # 配置Hadoop的环境变量 export HADOOP_MAPRED_HOME=/export/server/hadoop-3.3.0 # 告诉Hadoop各组件分别用哪个用户运行 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root ex
hadoop集群配置踩坑实录
Mocode的博客
03-15 3445
配置hadoop集群时遇到三个坑：start-dfs.sh失败、hadoop文件夹无法传给其他节点、namenode进程启动不成功。根据自身经历进行记录。
Hadoop格式化后用root用户启动集群报错
white_light的博客
03-08 1087
Hadoop格式化后用root用户启动集群报错
Hadoop 配置常见问题
03-08 1042
Table of Contents /etc/hadoop/hadoop-env.sh Not Found /etc/hadoop/hadoop-env.sh Not Found 问题描述 在装完Hadoop之后，想修改配置文件，但是发现没有/etc/hadoop/hadoop-env.sh。报错 “ls: 无法访问/etc/hadoop/hadoop-env.sh: 没有那个文件或...
【Hadoop学起来】Linux配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh时找不到JAVA_HOME?
weixin_34254823的博客
04-21 5721
正文之前 今天很气愤！！想要学点东西，但是老是被环境所限制。Hadoop这个见鬼的环境，我只是运行单机模式，结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录，因为快要睡了明天再说吧。另外我这里有《Hadoop 权威指南》第三版的翻译版本（华东师范大学翻译）。我今天吃完晚饭去书店逛的时候又看到了第四版的盗版书。所以见猎心喜之下买了回来。如...
hadoop配置
随心笔记
09-09 311
32位 安装配置JRE 解压hadoop 配置/etc/profile 配置 host 如/etc/hosts exportHADOOP_HOME=/home/hadoop/hadoop exportHADOOP_COMMON_HOME=$HADOOP_HOME exportHADOOP_HDFS_HOME=$HADOOP_HOME exportHADOOP_MAPRED_HOME=$HADOOP_HOME exportHADOOP_YARN_HOME=...
hadoop-env.sh未找到命令
最新发布
06-28
### 回答1： 这个错误提示意味着系统无法找到hadoop-env.sh命令。可能是因为该命令不存在或者没有正确设置环境变量。您可以尝试检查hadoop安装目录下是否存在hadoop-env.sh文件，并且确保环境变量已经正确设置。如果问题仍然存在，您可以尝试重新安装hadoop或者寻求其他解决方案。 ### 回答2： “hadoop-env.sh未找到命令”这个错误是在Hadoop安装和使用过程中出现的常见问题之一。通常情况下，这是由于Hadoop环境变量没有正确配置或被更改了导致的。针对这个问题，我们可以采取以下步骤来解决： 1. 查看hadoop-env.sh文件是否存在 首先需要确认hadoop-env.sh文件是否存在于Hadoop的安装目录中。如果文件不存在，则可以重新下载Hadoop并重新安装。 2. 检查hadoop-env.sh文件的路径是否正确 如果hadoop-env.sh文件存在，但仍然出现“未找到命令”的错误提示，就需要检查Hadoop的环境变量是否配置正确。可以通过以下命令查看Hadoop的环境变量： $ echo $HADOOP_HOME 该命令将输出Hadoop安装目录的路径。如果该路径不正确，可以使用以下命令修改环境变量： $ export HADOOP_HOME=/path/to/hadoop 其中“/path/to/hadoop”是Hadoop所在的路径。 3. 执行hadoop-env.sh文件 在确认Hadoop的环境变量已经正确配置之后，可以尝试执行hadoop-env.sh文件，命令如下： $ source $HADOOP_HOME/etc/hadoop/hadoop-env.sh 如果执行成功，应该可以在命令行中看到一些Hadoop的配置信息。 4. 重新启动Hadoop服务 最后，如若步骤没有解决问题，可以尝试重新启动Hadoop服务。可以通过以下命令关闭和启动Hadoop： $ stop-all.sh $ start-all.sh 总之，如果出现“hadoop-env.sh未找到命令”的错误，首先要检查Hadoop的环境变量是否正确配置，然后执行hadoop-env.sh文件。如果步骤没有解决问题，可以尝试重新启动Hadoop服务。 ### 回答3： Hadoop是一个非常流行的分布式计算平台，它可以很好地处理大规模数据的分布式存储和处理。Hadoop环境的配置对于使用Hadoop来说非常重要，它决定了Hadoop的运行状态。 而hadoop-env.sh未找到命令的问题，一般是由于以下几个原因： 1. 没有正确配置Hadoop环境变量 hadoop-env.sh是Hadoop的环境变量脚本，它负责对Hadoop的环境变量进行配置。如果该脚本未能找到命令，那么很可能是由于环境变量没有正确配置。 解决办法：可以在hadoop-env.sh中加入正确的环境变量配置，如JAVA_HOME、HADOOP_HOME等，以确保Hadoop的正常运行。 2. hadoop-env.sh文件不存在 如果hadoop-env.sh文件不存在，那么Hadoop将无法正确加载其环境变量。 解决办法：可以通过在Hadoop安装路径下使用命令查找hadoop-env.sh文件的路径，然后将其路径添加到环境变量中。如果找不到该文件，则需要重新安装Hadoop。 3. 系统权限问题 Hadoop需要正确的系统权限才能运行。如果当前用户没有足够的权限，那么将无法正常启动Hadoop。 解决办法：可以尝试以管理员身份运行Hadoop相关命令，以获得足够的权限。 总之，hadoop-env.sh未找到命令的问题需要根据具体原因来解决。通过正确配置环境变量、找到并加载hadoop-env.sh文件，以及获得足够的系统权限，可以解决这个问题，并确保Hadoop的正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值