[hadoop] 重新格式化HDFS的详细步骤

最新推荐文章于 2024-08-11 00:50:24 发布
最新推荐文章于 2024-08-11 00:50:24 发布
阅读量2.8k 收藏 6
点赞数 1
分类专栏： hadoop 文章标签： hadoop hdfs hdfs-ha 重新格式化 NameNode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a755199443/article/details/102406234
版权
本文详细介绍了在启用和未启用自动故障转移工作机制时，如何重新格式化HDFS。启用时，涉及删除核心站点配置文件中指定的目录、启动JournalNode、依次格式化NameNode并启动、格式化Zookeeper，最后启动DFS。若未启用，需要手动切换NameNode的active/standby状态。
摘要由CSDN通过智能技术生成

启用自动故障转移工作机制时

此时active与standby状态会由zkfc管理.

1 删除两个目录
core-site.xml配置文件中指定的目录(默认位置在/tmp目录)

<property>  
  <name>dfs.name.dir</name>  
  <value>/home/hadoop/hdfs/name</value>
最低0.47元/天 解锁文章
朱同学
关注
专栏目录
hadoop hdfs格式化
m0_46492273的博客
12-09 764
@HADOOP 安装小问题 HADOOP 因为版本的名称不同，在usr/java下文件名为java1.8.0_271-amd64 而在之前hadoop配置时写的java-home是java1.8.0_271 为了方便，这里采用了改文件夹的名称 改名称 mv java1.8.0_271-amd64 java1.8.0_271 配置hdfs和hdfs的格式化 JAVA_HOME=/usr/java/jdk1.8.0_271 HADOOP_HOME=/usr/local/hadoop-2.7.7 PATH=PAT
重新格式化HDFS的方法
u011762604的博客
06-07 899
重新格式化hdfs系统的方法： （1）查看hdfs-ste.xml： span style="font-size:18px;">property>     name>dfs.namenode.name.dirname>     value>/home/hadoop/hdfs/namevalue>     description>namenode上存储hdfs名字空间元
Hadoop重新格式化HDFS的方案
牛肉胡辣汤
08-11 742
重新格式化HDFS是清除Hadoop集群中所有数据的过程。在执行这个操作之前，务必备份重要的数据。通过按照上述步骤停止服务、备份数据、格式化NameNode，并在确认一切正常后启动服务，我们可以重新格式化HDFS并开始一个全新的Hadoop数据存储环境。
Hadoop重新格式化HDFS的方法
weixin_34345560的博客
05-08 440
1、查看hdfs-site.xml： &lt;property&gt; &lt;name&gt;dfs.name.dir&lt;/name&gt; &lt;value&gt;/home/hadoop/hdfs/name&lt;/value&gt; &lt;description&gt;namenode上存储hdfs名字空间元数据&lt;/descripti...
Hadoop之——重新格式化HDFS的方案
热门推荐
冰河的专栏
06-04 2万+
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/72857449 了解Hadoop的同学都知道，Hadoop有两个核心的组成部分，一个是HDFS，另一个则是MapReduce，HDFS作为Hadoop的数据存储方案，MapReduce则提供计算服务；同时，HDFS作为一种分布式文件系统，它的安装也是需要相应的格式化操作的，如果安装...
HDFS 重新格式化
m0_44993395的博客
11-22 630
前言 最近在使用 hadoop 框架时，发现自己在配置之初忘记配置 tmp 文件的目录，默认在 Linux 文件系统的 /tmp 文件夹下，而我的系统是 windows，所以在实际运行时发生找不到文件的错误。无奈之下，只能重新格式化文件系统，重新指定 tmp 的路径。重新格式化的具体流程如下。 过程 将 dfs.name.dir 所指定的目录删除，dfs.data.dir 所指定的目录删除 删除 C 盘下的 tmp 文件，有可能因为找不到 linux 文件系统下的 tmp 文件夹，所以转移到 C 盘下
hadoop重新格式化HDFS步骤解析
09-30
首先，我们来解析一下Hadoop重新格式化HDFS的步骤。这个过程包括几个关键步骤： 1. 修改HDFS配置文件：hdfs-site.xml文件是Hadoop配置文件之一，它用于定义HDFS的存储目录。在这个文件中，你需要找到标签，其中的...
VM虚拟机hadoop格式化HDFS
最新发布
09-11
VM虚拟机中运行Hadoop时，格式化HDFS通常遵循以下步骤： 1. 安装好Hadoop，并确保环境变量配置正确，以便在任何地方通过命令行访问Hadoop的可执行文件。 2. 在执行格式化之前，首先需要启动Hadoop集群的各个守护...
hadoop集群搭建格式化HDFS的具体过程
07-08
Hadoop集群搭建中，格式化HDFS的具体过程如下： 1. 打开终端或命令行界面，通过SSH登录到Hadoop集群的主节点上。 2. 确保Hadoop集群的所有节点都正常运行，并且网络连接正常。 3. 进入Hadoop的安装目录，通常为`/...
完全分布式环境Hadoop中HDFS重新格式化
向之 所欣
11-09 515
2）hdfs-site.xml中dfs.name.dir、dfs.data.dir所指定的目录删除，即删除hdfs-site.xml中配置的存储信息路径。1）core-site.xml中将hadoop.tmp.dir所指定的目录删除，即删除Hadoop的临时文件路径。若是完全分布式环境的Hadoop需要在所有的虚拟机中删除以上指定目录下的文件夹。3）然后执行格式化命令：hadoop namenode -format。
Hadoop：格式化脚本【删除所有节点的所有数据，重新格式化HDFS】【使用Hadoop之前需要格式化】
u013250861的博客
04-01 973
NameNode的节点（比如：hadoop102节点）格式化NameNode。不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化。进程，并且要删除所有机器的。目录，然后再进行格式化。如果集群是第一次启动。
如何重新格式化Hadoop文件系统
大头皮鞋的博客
10-07 1万+
大家知道Hadoop不能直接进行多次格式化，多次格式化（$ hdfs namenode -format）会造成没有datanode，因为每次格式化操作会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次格式化创建的id,和dfs.name.dir参数配置的目录中的id不一致。那么应该怎样正确地重新格式化我们的Hadoop呢？ 以下是正确重新格式化的方法： a....
Hadoop3.0 hdfs增加节点 导致元数据格式化 datanode节点丢失
qq_44707928的博客
08-20 510
原因 学习需要，由两个节点扩充至三个节点。当我把hdfs的相关文件配置完毕，启动hdfs时，在web管理界面没有显示新增加的节点 坑1 在某个博客里看到，需要格式化namenode才能显示，我就听了他的话，本以为在格式化元数据后，不会影响datanode的数据，namenode会自动恢复，但是没有我想象中的那么简单。。。 坑2 不仅仅数据丢失，在格式化之后，重新启动hdfs，datanode无法启动。。。 原来在namenode格式化之后，会重新生成一个clusterID 对症下药，将namenode重
Hadoop 重新格式化NameNode
weixin_45131680的博客
08-29 2182
NN 第一次格式化失败后，需要删除格式化失败残留文件，才能重新进行格式化。我以三台节点格式化失败为案例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值