hdfs namende -formate 格式化名称节点

最新推荐文章于 2024-05-10 21:51:12 发布
最新推荐文章于 2024-05-10 21:51:12 发布
阅读量992 收藏 1
点赞数
分类专栏： Java/Web/Linux/Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_924485343/article/details/116274901
版权
Namenode格式化涉及删除Hadoop集群的元数据，包括editlog和fsimage。在集群运行期间，不建议进行此操作，因为可能会导致数据丢失或启动问题，如Namenode和Datanode之间的cluster_id不匹配。正确的流程包括先关闭集群，删除数据存储和日志，然后格式化。若出现启动问题，检查并确保Namenode和Datanode的ID一致。
摘要由CSDN通过智能技术生成

namenode格式化，顾名思义，格式化的是 namenode中的元数据，editlog，fsimage 什么 

在集群的使用过程中，最好不要格式化namenode，否则会出现错误，因为在集群的运行过程中，本身就会产生各种信息。

  • 先关闭集群
  • 删除 namenode 和 datanode 的存储 文件夹
  • 删除 日志文件
  • 格式化

可能存在的问题：

格式化后如果出现 启动 namenode 的时候 datanode挂， 启动 datanode的时候 namenode 挂， 可能就是 cluster_id 不匹配的问题，这个时候要检查下 namenode 和 datanode 的 id 是否匹配

 

苏格拉没底——
关注
专栏目录
HDFS之namenode文件解析
bigdodo的博客
04-07 3148
一、HDFS体系结构 HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点） 伪分布式单节点JPS进程： 网络部署结构图： 1.NameNode进程 NameNode是整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树、文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。 目录树：目录之间的层...
HDFS------hadoop namenode -format
shuhuai007的专栏
09-02 5614
集群搭建好了以后，通常我们会输入命令：/bin/hadoop namenode -format对hdfs进行格式化，那究竟格式化都做些什么具体的工作呢，怀着好奇心到源码里一探究竟。 首先从这行命令/bin/hadoop namenode -format 可以判断出会调用Name
hdfs-<NameNode的format>
dingjun1
12-06 234
1、在属性dfs.namenode.name.dir指定的目录中创建相应的元数据文件 a)current/VERSION [code="java"] #Fri Dec 06 11:21:35 CST 2013 namespaceID=140437801 clusterID=CID-5a02557f-1977-44d6-b7bc-d124be2d0ba3 cTime=0 stora...
格式化名称节点，启动Hadoop
m0_62110645的博客
11-22 527
能够看到有六个节点，我打码那个是我自己下载的eclipse，与内容无关，我直接不放出来。可以看到与前面启动的类似。
hdfs namenode format （续）
shuhuai007的专栏
09-05 1069
看过路fsimage这个文件的存储，再看看其它三个文件的存储，其它三个文件的存储都很简单，先来看edits文件， editLog.createEditLogFile(getImageFile(sd, NameNodeFile.EDITS));   public synchro
Hadoop入门二(3.2.2版本)
一盏小灯的博客
12-10 1545
一.配置hdfs的三个进程以本地机器名comerdata001启动 目的：配置hdfs的老大NN、老二SNN、小弟DN三个进程以本地机器名comerdata001启动 好处：hdfs的三个进程和HA都是以机器名配置和启动的，这样的好处在于如果以后ip变化了，不用去修改配置文件，只需要直接修改机器的hosts文件即可 准备工作： 1.登录到hadoop001用户并切换到~/app/hadoop目录下 ps -ef | grep hadoop #查看hadoop进程 sbin/start -dfs.
安装部署Hadoop完全分布式集群(三个节点)
m0_51771858的博客
10-21 1863
世上最全的部署Hadoop集群资料
Hadoop 从入门到精通----编程不良人笔记
狗剩的专栏
12-16 1366
相关笔记下载地址 ( 很少的费用 带来很多的收获 支持一下自己技术上的进步 支持一下陈兄 ) https://www.baizhiedu.xin/front/index#/main Hadoop 从入门到精通----编程不良人 ( 25 小时 ) https://www.bilibili.com/video/BV17E411g7F2 Hadoop 作者: 陈艳男 微信|电话: 13260426185 一. 引言 1.1 什么是大数据 大数据:(Big Data):数据量级很大的应用处理。TB
linux上Hadoop环境搭建入门篇
jy317358306的博客
11-15 468
hadoop安装成功的效果 1.启动hadoop，通过jps查看到有如下五个进程，证明启动成功 2.访问查看效果（集群管理可视化和数据节点管理可视化） http://169.254.34.100:8088/cluster http://169.254.34.100:50070/dfshealth.html#tab-overview VMware上linux虚拟机的安装 我应用的资源如下： 1.VMware workstation 12 pro 2.CentOS-6.5-x86_64-minimal.i
HDFS源码分析之NameNode（2）————Format
weixin_30644369的博客
05-23 131
　　 在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。 我们都知道，NameNode主要被用来管理整个分布式文件...
【Hadoop】（一）分布式文件系统 HDFS
云祁QI
12-07 2846
文章目录一、Hadoop简介二、Hadoop的核心三、Hadoop的特点四、HDFS的架构存储模型==NameNode（NN）==1.简介2.NameNode的工作特点3.NameNode主要功能4.NameNode保存metadata信息包括5.NameNode持久化6.==DataNode（DN）====SecondaryNameNode（SNN）==1.SNN执行合并时机2.SNN执行流程图...
hadoop名称节点格式化失败分析及解决方法
weixin_43631997的博客
10-09 4117
当出现名称节点格式化失败的时候(那一大坨)最下面有( ERROR)名称节点格式化失败 但是每个人出错的原因是不一样的，在那一大坨里面，第一个ERROR就是你最初错误的地方，下面的ERROR都是因为那个最初的错误引发的(我是这个认为的)，所以我们需要研究自己第一个ERROR，这个最初的错误原因是什么。 下面列了一些我见过的错误： ...
Hadoop3.2.1 【 HDFS 】源码分析 : NameNode -format 解析
张伯毅的专栏
09-06 9234
一.前言 众所周知, 在安装hadoop的时候, 必须对hdfs的Namenode进行格式化操作. 本文主要介绍格式化操作. 格式化命令如下. bin/hdfs namenode -format 二.代码入口 Namenode的格式化操作是 : org.apache.hadoop.hdfs.server.namenode.NameNode /** */ public static void main(String argv[]) throws Exc...
Hadoop 分布式 | 初始化文件系统错误 hdfs namenode -format
qq_41497111的博客
12-13 2447
问题 初始化hadoop文件系统出现错误。 ./bin/hdfs namenode -format hba-hadoop STARTUP_MSG: java = 1.8.0_74 ************************************************************/ 19/12/06 14:58:10 INFO namenode.NameN...
格式化名字
u012968427的博客
12-30 376
function list(names) { var xs = names.map(p => p.name) var x = xs.pop() return xs.length ? xs.join(", ") + " & " + x : x || "" } console.log(list([{name:"小强"}, {name:"张三"}, {name:"李四"},{
一个MapReuce作业的从开始到结束--第1章 NameNode节点的格式化
大数据和机器学习研究
11-21 1872
Hadoop配置好之后，第一个要执行的命令是“./bin/hadoopnamenode -format”。这个命令在NameNode节点上执行，格式化NameNode节点。 名字节点格式化的本质，就是从配置文件里读取NameNode的两个目录NamespaceDirs和NamespaceEditsDirs，然后将目录清空--也就是删除这两个目录，再新建这两个目录。 “.
Hadoop集群（第8期）_HDFS初探之旅
weixin_33778778的博客
05-28 425
1、HDFS简介 　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很...
【Hadoop】（一）分布式文件系统 HDFS_namenode -format format the dfs filesystem
最新发布
2401_84615524的博客
05-10 602
namenode是整个文件系统的管理节点。他维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。edits:操作日志文件。fstime:保存最近一次checkpoint的时间。在 PNN(Primary NameNode) 合并之前，会将 edits 和 fsimage 文件发送给 SNN，然后 PNN 创建一个新的 edits.new 文件继续记录 PNN 的操作。
easyui tree：根据属性格式化树节点名称
weixin_30851867的博客
10-28 115
$('#resourceTree').tree({ method : 'post', animate : true, onContextMenu : function(e, node) { e.preventDefault(); $(this).tree('select', node.target); $('#re...
hdfs namenode -format start-all.sh
05-23
这是两个不同的命令，需要分开执行。 - `hdfs namenode -format` 是用于格式化 Hadoop 分布式文件系统（HDFS）中的 NameNode。该命令会清除 HDFS 中存储的所有数据，因此在生产环境中需要非常谨慎使用。 - `start-all.sh` 是用于启动 Hadoop 集群中所有的守护进程，包括 NameNode、DataNode、ResourceManager、NodeManager 等。该命令需要在 Hadoop 安装目录下的 sbin 目录执行，并且需要先确保 Hadoop 配置正确无误。 因此，如果你想要格式化 HDFS 并启动 Hadoop 集群，需要按照以下步骤执行： 1. 进入 Hadoop 安装目录的 bin 目录，执行 `./stop-all.sh` 命令停止所有 Hadoop 守护进程。 2. 进入 Hadoop 安装目录的 sbin 目录，执行 `./hdfs namenode -format` 命令格式化 NameNode。 3. 再次进入 Hadoop 安装目录的 bin 目录，执行 `./start-all.sh` 命令启动所有 Hadoop 守护进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值