hadoop 格式化 的时候存储目录不一致或者不存在

已于 2022-12-08 18:26:23 修改
阅读量527 收藏 2
点赞数 2
分类专栏： hadoop 文章标签： hadoop 大数据 分布式
于 2022-12-07 00:30:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miaotoull/article/details/128213014
版权

 

a2a318d9727642059d429fb4108b6bed.png

 

咱们还是到hdfs-site.xml里面去

找到这个位置

dfs.namenode.name.dir

/usr/local/src/hadoop/dfs/name/data

在usr前面加上file：

/usr/local/src/是hadoop的路径

然后再重新启动

重新格式化

加上问题解决了

 

林喵头
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
解决hadoop namenode -format / hdfs namenode -format 找不到java的文件目录
weixin_33816611的博客
09-21 5204
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop格式化文件系统时找不到文件或目录
最新发布
m0_61846812的博客
03-18 484
hadoop格式化错误
sinat_42888557的博客
06-14 1873
19/06/14 09:40:23 INFO ipc.Client: Retrying connect to server: hadoop02/192.168.8.108:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 M...
hadoop初始化出现找不到目录文件解决
weixin_40655232的博客
04-01 6310
Linux虚拟机的Hadoop初始化出现这个问题，跪求各位大佬帮忙看看！ 网上找的说是环境变量没有配置好，这个是我截图的环境变量，哪里有问题呀
3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构
作者：大头兵（kit）
01-05 2079
三台机器都需要执行/usr/local/hadoop-3.2.0/bin。3.1 hadoop-env.sh 配置 Hadoop 环境变量。--指定HDFS默认（namenode）的通信地址-->--给zk用的目录, 必须保证是个空的给zk用-->3.3 hdfs-site.xml 配置 NameNode。--指定Hadoop运行时产生文件的存储路径-->3.8.1 第一次启动前需要格式化，集群所有服务器都需要。--指定master-->--所有可用的zk-->注：要在集群所有服务器都进行操作。
hadoop安装（三台虚拟机）一些常见问题
liangzou的专栏 从阅读开始
09-07 1638
现在网络有很多介绍hadoop安装的文章，我也试着按照他们的方法安装，乖乖，这个不行，那个有不行，只能一个一个的找谷老师，谷老师提供的乱七八糟的，最终还是安装上了。我这篇是根据人家写的基础之上写了，仅供参考机器名 机器名称        IP地址            作用 Master       10.64.79.153        namenode Leon03
Hadoop中命令检查hdfs的文件是否存在
qq_43688472的博客
08-01 2410
示例中，使用hadoop fs -test -e命令检查/user/hadoop/myfile.txt文件是否存在。接着，通过检查命令的返回值来确定文件的存在与否。如果文件存在，命令返回0；如果文件不存在，命令返回非0值。其中，是要检查的HDFS文件的路径。
Hadoop3.3.2部署常见问题详解
qq_22877119的博客
03-29 2682
Hadoop3.3.2部署常见问题详解编写说明问题说明问题1：root用户启动不了解决办法问题2：hdfs在安全模式解决办法问题3：运行圆周率计算demo范例，提示找不到resource-types.xml解决办法问题4：运行圆周率计算demo范例，提示java找不到解决办法 编写说明 首先按照hadoop官方文档搭建集群： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 问题
Hadoop2.5 的HA配置遇到的错误及解决办法
ShiLuoHeroKing的博客
03-28 849
最近在学习hadoop的HA，遇到了一个很奇葩的问题，记录一下解决办法    问题1：多次格式化 namenode 后，出现 datanode 启动后自动关闭    出错原因：是因为和格式化 namenode 之前的文件发生冲突    解决办法：将 namenode 存放临时文件的目录下的文件全部删除，然后重新格式化    问题2：格式化成功以后，启动 journalnod
Hadoop格式化NameNode遇到的坑
weixin_55285982的博客
04-18 3484
1、在core-site.xml文件中指定 hadoop 数据的存储目录是——路径莫名其妙不对，可能是复制粘贴是哪里错了 <!-- 指定 hadoop 数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> //路径一定要设置对，最好去先pwd，然后复制粘贴 <value>/opt/module/hadoop-3.1.3/data</value> </property>
hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析
m0_67402970的博客
09-06 7577
b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下，问题解决。失败的原因是：我们在core-site.xml修改了tmp路径：【/home/hyxy/tmp/hadoop】，启动namenode服务的时候，系统找不到原来的路径：/${hadoop.tmp.dir}/dfs/name,注意：/tmp是临时存放文件的路径，但是有时候系统重启，或者数据量太大的时候，系统会。的目录，然后名称表被复制到所有的目录中，以实现冗余。
Hadoop的格式化和启动
热门推荐
hgxiaojiujiu的博客
09-20 1万+
在未配置环境变量的情况下，先进入到Hadoop文件中，Hadoop的其余配置已经完成 1.格式化 bin/hdfs namenode -format 进行格式化 如果想要格式化失败或者想要重新格式化，请删除配置文件中配置的 hadoop_repo 整个文件夹 2.启动 在Hadoop文件中使用命令，sbin/start-all.sh 关闭Hadoop的命令则为 sbin/stop-all.sh 启动之后除jps进程之外，还有三个进程即为启动成功 ...
hadoop重新格式化HDFS
Allen的博客
08-29 6162
重新格式化hdfs系统的方法： 1、打开hdfs-site.xml 我们打开Hadoop的hdfs-site.xml，基本配置如下所示： <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property&g...
Hadoop：分布式集群多次格式化文件系统，导致datanode无法启动解决方案
Jodness' Blogs
03-20 1644
关闭守护进程后再次格式化，导致datanode没有启动 [jinge@master ~]$ jps 3763 NameNode 4166 Jps 4059 SecondaryNameNode 这是因为多次格式化导致clusterID不同，这就涉及到了namenode和datanode中的两个文件 namenode： datanode： 可见两者的clusterID不同，...
hdfs格式化找不到命令
07-14
### 回答1： HDFS格式化找不到命令通常是由于Hadoop集群环境配置不正确或者没有正确设置Hadoop的环境变量导致的。 首先，确保Hadoop已经正确安装并且Hadoop的bin目录已经在环境变量PATH中设置。可以通过在命令行中输入"hadoop version"来验证Hadoop是否正确安装和配置。 如果Hadoop已经正确安装，但仍然提示找不到命令，那可能是因为Hadoop的配置文件中没有正确指定Hadoop的安装路径。可以检查Hadoop的配置文件（hadoop-env.sh）中的HADOOP_HOME变量是否正确设置为Hadoop的安装路径。 另外，还需要确保当前操作用户具有对Hadoop文件系统进行格式化的权限。如果当前用户不是Hadoop的管理员或者没有足够的权限，可能会导致找不到格式化命令。可以试着以管理员身份运行格式化命令或者联系Hadoop管理员进行格式化操作。 最后，如果以上步骤都正确设置，但仍然找不到格式化命令，可以尝试重新安装Hadoop或者检查Hadoop的版本与所使用的命令是否兼容。 总之，HDFS格式化找不到命令通常是由于Hadoop环境配置不正确或者环境变量设置不正确导致的。需要确保Hadoop已正确安装、配置文件中的路径正确、用户具有足够权限，并确保Hadoop版本与命令兼容。 ### 回答2： HDFS（Hadoop分布式文件系统）是Hadoop生态系统中的一部分，用于存储和处理大数据。格式化HDFS是指在开始使用HDFS之前对其进行初始化配置的过程。当我们尝试格式化HDFS时，有时可能会遇到找不到命令的问题。这种情况可能是由以下几个原因引起的。 首先，可能是由于Hadoop的安装或配置有问题。当Hadoop未正确安装时，系统无法找到相关的Hadoop命令。在这种情况下，需要检查Hadoop是否按照正确的步骤进行安装，并确保相关的环境变量和路径设置正确。 其次，可能是由于Hadoop版本的兼容性问题。不同版本的Hadoop可能有不同的命令名称或命令用法。如果使用的Hadoop版本与命令不兼容，系统就无法找到相应的命令。 最后，可能是由于系统的权限问题。在某些情况下，Hadoop命令需要特定的用户权限才能执行。如果当前用户没有足够的权限，系统可能无法找到命令。在这种情况下，可以尝试使用管理员权限或与系统管理员联系以解决权限问题。 要解决这个问题，我们可以按照以下步骤进行操作。首先，确保Hadoop已正确安装并设置了正确的环境变量和路径。其次，检查使用的Hadoop版本是否与命令兼容。最后，确保当前用户具有执行命令所需的权限。 总结而言，当HDFS格式化时找不到命令，我们需要检查Hadoop的安装、配置、版本兼容性和权限等问题。通过对这些问题进行逐一排查，并解决相应的问题，我们就能够成功格式化HDFS并开始使用它来存储和处理大数据。 ### 回答3： Hadoop分布式文件系统（HDFS）格式化是在部署Hadoop集群之前必须执行的一项操作。这个命令会将HDFS的元数据和数据全部删除，并将文件系统恢复为初始状态。这样做是为了确保干净的起点，以便重新开始构建和使用HDFS。 当我们在命令行中输入"hdfs namenode -format"命令时，如果提示找不到命令，可能是由于以下原因： 1. Hadoop安装错误：Hadoop分发包未正确安装或配置。在执行HDFS格式化命令之前，需要确保已经正确地安装和配置了Hadoop。可以检查Hadoop的安装目录以及环境变量的设置，确保其正常运行。 2. 命令路径错误：Hadoop的bin目录没有添加到系统的PATH环境变量中。在执行HDFS格式化之前，需要将Hadoop的bin目录添加到系统的PATH环境变量中。这样系统就能够找到并识别"hdfs"命令。 3. Hadoop版本不匹配：Hadoop的版本与当前部署的版本不匹配。在执行HDFS格式化命令之前，需要确保Hadoop的版本与当前Hadoop集群的版本一致。如果版本不匹配，可能会导致"hdfs"命令无法识别。 4. HDFS服务未正确启动：HDFS服务没有成功启动或运行。在执行HDFS格式化命令之前，需要确保HDFS服务已经正确启动。可以使用"hadoop-daemon.sh start namenode"命令来启动HDFS服务，并确保服务运行正常，然后再执行格式化命令。 总之，如果在执行"hdfs namenode -format"命令时提示找不到命令，应该仔细检查Hadoop的安装和配置，确保Hadoop的版本正确，并确保HDFS服务已经正确启动。只有在以上步骤都正确无误的情况下，才能成功执行HDFS格式化命令。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林喵头

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值