安装配置Hadoop后出现的问题

最新推荐文章于 2023-10-08 16:54:24 发布
最新推荐文章于 2023-10-08 16:54:24 发布
阅读量333 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38993125/article/details/109310968
版权

使用Hadoop遇到的问题

start-all.sh: command not found

路径配置的问题：

  1. 先看看自己的/etc/profile文件下的路径配置：PATH有没有加上HADOOP的路径
  2. 如果已经加上了需要source /etc/profile更新一下
  3. 一般在更改VERSION文件之后都需要source一下（更改VERSION后面讲）

运行之后没有NameNode

需要对Namenode进行格式化，hadoop namenode -format

运行之后没有DataNode

一般出现这个情况是DataNode的版本和Namenode不同，因为Namenode频繁的格式化

  1. 需要现在logs里面找到DataNode .log文件里面的报错：找到Cluster-ID并复制
  2. 找到DataNode文件夹(路径在hdfs的配置xml文件中有）下的VERSION文件，将CID改为复制的CLUSTER-ID
lyxueILCS
关注
专栏目录
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
docker配置hadoop
09-28
001
Hadoop集群搭建过程中profile初始化问题
方法属性类，一个都不会
08-10 231
profile初始化： source /etc/profile
学习笔记（四）配置hadoop集群错误详解
liwen_me的博客
10-08 1523
首先如图我们输入运行启动配置文件报错，从报错的意思来看是JAVA_HOME的路径找不到，那么我们要找错误就要看我们在哪些地方配置了java的路径。而在我们配置Hadoop前有JAVA_HOME的路径的地方是有两个的，一个是环境变量的配置，一个是hadoop-env.sh当中的配置。分为三种情况：情况一（环境变量的配置）：首先使用java -version来看java是否配置成功，如果能出现当前java的版本号，相当于环境变量当中的配置是正确的，就不需要考虑这个情况了。
Linux报错集锦
m0_46418390的博客
04-08 2665
linux报错记录
Linux中安装配置hadoop集群.md
05-19
亲测自己配置的Linux中安装配置hadoop集群
hadoop安装与配置 Hadoop的安装与配置可以分成几个主要步骤： 1. 安装Java 2. 下载Hadoop 3. 配
最新发布
09-13
3. 配置Hadoop 4. 格式化Hadoop文件系统 5. 启动Hadoop 以下是基于Linux系统的简化安装与配置步骤： 1. 安装Java sudo apt-add-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-...
Hadoop实验常见的错误总结
xujingran的博客
11-10 3341
文章目录1、bash: *****: command not found...（未找到命令）2、显示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: linuxprobe: linuxprobe等信息3、执行start-dfs.sh只输入了一次或者两次密码就结束了开启状态4、提示Error:JAVA_HOM...
Ubuntu 12.04 编辑 /etc/profile 之后登陆界面进不去
会飞的石头
02-28 523
转自：http://blog.csdn.net/heyu158/article/details/41891181错误重现：1.小白的同学使用vim 安装Java 之后编辑环境变量。她为了图省事复制粘贴的别人的环境变量之后修改成了自己的目录。[java] view plain copy#set jdk environment    export JAVA_HOME=/usr/lib/jvm/jdk1...
1.7)hadoop学习之常见的错误以及解决方案
qq_614617158的博客
08-18 759
1）防火墙没关闭、或者没有启动 YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP 地址配置错误 4）ssh 没有配置好 5）root 用户和 atguigu 两个用户启动集群不统一 6）配置文件修改不细心 7）不识别主机名称 java.net.UnknownHostException: hadoop102: hadoop102 at java.n
hadoop集群配置好了无法进入:50070 打开
weixin_44777314的博客
06-19 1517
通过网上的各种查阅,发现防火墙关了,三台机器正常运行结点,但是在本机中无法通过000.000.000.000:50070 进行集群的查看,但是通过最后的发现.在配置修改主机名的时候有要改到 vim /etc/hosts 有看到上面这种情况. 但是这样会与下面的hadoop01冲突,这样会导致无法解析其地址 所以在hosts文件中改回 localhost.localdomain或者用不同的名字. 然后重启虚拟机:reboot,再次打开集群,即可进去:50070端口进行查看. ...
windows 搭建和配置 hadoop + 踩过的坑
weixin_33733810的博客
06-20 615
一、配置步骤 hadoop官网 下载 tar.gz镜像 下载安装winRAR ，管理员权限打开CMD，切换到hadoop目录下，输入start winrar x -y hadoop-3.1.2.tar.gz 执行解压（不下载安装winRAR，用7zip解压会报错） 配置hadoop环境 JAVA配置： 新建变量...
搭建hadoop，报错Could not find or load main class org.apache.hadoop.util.VersionInfo
caoxiaofang0703的专栏
03-20 1万+
搭建hadoop，总是报Could not find or load main class org.apache.hadoop.util.VersionInfo错误，纠结好久，终于解决，但是不知道为什么 ，方法如下 you can also add the following to your ~/.bashrc export HADOOP_CLASSPATH=$(cygpath -pw
source 命令找不到的情况（修改完/etc/profile文件之后，使其生效）
热门推荐
wendy专栏
03-19 6万+
1）修改完成/etc/profile，使其生效     source /etc/profile   -提示找不到命令     试试：A）locate source /etc/profile     试试：B）usr/bin/source /etc/profile
hadoop环境配置过程中可能遇到问题的解决方案
姚光超的专栏
07-24 5万+
Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便，但是这不是一种好习惯，我们应该通过修改CLAS
hadoop环境配置出现的问题
窦永厚
11-30 4481
1.系统找不到指定的路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值