bug：ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint

最新推荐文章于 2024-04-21 11:13:58 发布
VIP文章 最新推荐文章于 2024-04-21 11:13:58 发布
阅读量4.9k 收藏 1
点赞数 1
分类专栏： hadoop 文章标签： hadoop 集群 bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30136589/article/details/51638081
版权
一、概念介绍
    hadoop.tmp.dir配置参数指定hdfs的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。（我觉得这其实就是因为上面那个原因造成的。按照上面那个第二个方法去做就行了。）
    此参数最好在安装时进行配置
     etc/hadoop/core-site.xml中：
<property>
    <name>hadoop.tmp.dir</name>
最低0.47元/天 解锁文章
qq_30136589
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据与云计算技术 Hadoop概论和快速入门 共40页.ppt
09-04
Hadoop, Apache开源的分布式框架。源自Google GFS,BigTable,MapReduce 论文。 == HDFS == HDFS (Hadoop Distributed File System),Hadoop 分布式文件系统。 NameNode,HDFS命名服务器,负责与DataNode文件元信息保存。 DataNode,HDFS数据节点，负责存储数据存储并汇报给NameNode。 SecondaryNamenode,NameNode的镜像备份节点 ==Map Reduce== JobTracker，hadoop的Map/Reduce调度器，负责与TackTracker通信分配计算任务并跟踪任务进度。 TaskTracker,启动和管理Map和Reduce子任务的节点。
Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in...
weixin_30767835的博客
08-04 1071
原先使用hadoop默认设置（hadoop1.2.1），secondarynamenode会正常进行备份，定时从namenode拷贝image文件到SNN。但是具体SNN备份的时间周期和log文件的大小无法定制，后来楼主就修改了SNN的设置，将fs.checkpoint.period修改为3600s,fs.checkpoint.size修改为64兆。在core-site....
hadoop问题排查
woshidalao12138的博客
02-22 627
因为太久没用了，执行。
hadoop2.6.5安装报错：Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.Name
practice
03-03 1951
centos6.5安装Hadoop2.6.5，在执行 hdfs namenode -format时报错如下： Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode 原因：找不到对应的类，也就是说找不到jar包。所以需要配置 HADOOP_COMMON_LIB_NATIVE_...
搭建hadoop集群常见坑一：secondarynamenode只在root账户能启动在一般账户不能启动的解决方法。
qq_39954916的博客
04-24 1982
一、事情的起因： 本来是按照手册顺利的安装了全分布式集群，并且能够正常启动集群，集群又、有三台集群，hadoop102 是master，其他2台是node，secondarynamenode配置在hadoop104上， 一次手痒不小心在master下的root账户下启动了集群，然后就发现在hadoop104的一般账户下不能启动secondarynamenode了，但是在hadoop104的ro...
解决ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.net.BindExce
大数据的菜????
01-31 1100
java.net.BindException: Problem binding to [hadoop01:9000] java.net.BindException: 地址已在使用;For more details see: http://wiki.apache.org/hadoop/BindException这个原因。解决ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
微电子学与固体电子学-俞驰
05-17 1735
grep -ri Exception得到如下信息: /home/appleyuchi/bigdata/hadoop-3.2.1/logs/hadoop-appleyuchi-secondarynamenode-Desktop.log 2020-05-17 21:23:32,070 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint 解决方案： ①去core-site.xml
hadoop secondary namenode 部署出错所产生的错误及解决方法
热门推荐
chlaws的专栏
11-17 1万+
只叙述secondary namenode部署出错所产生的错误及解决方法 环境：suse 10.1 namenode 单独部署在cloud1 secondary namenode 单独部署在 cloud3 集群部署完成后使用Jps查看进程,发现该有的进程都有,hdfs也能上传下载文件  查看secondary name 上的log,发现在doCheckpoint都失败 20
SecondaryNameNode异常排查
11-20 1758
二级namenode提示错误： 2017-11-20 09:44:58,877 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint java.io.IOException: Inconsistent checkpoint fields. LV = -47 names
由于无法加载editlog导致namenode无法启动问题处理
abyslll的博客
02-16 2408
版本：hadoop3.2.1 namenode数量：5 1. 问题描述 hadoop-nn01节点的namenode服务无法启动，报错如下 Exiting with status 1: org.apache.hadoop.hdfs.server.namenode.EditLogInputException: Error replaying edit log at offset 0. Expected transaction ID was 4095226791 No edit log f.
1-1-HDFS+and+YARN.pdf
05-09
（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager （3）...
【大数据】Hadoop常用启动命令.pdf
12-24
包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.sh 停⽌Hadoop HDFS守护进程NameNode、...
大数据技术课程设计.docx
06-25
HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 （1）核心配置文件 配置core-site.xml （2）HDFS配置文件 配置 hadoop-env...
hadoop-2.7.2.rar
04-27
hadoop-2.7.2安装包，解压至/opt/...启动HDFS只需要敲入命令行：sbin/hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode 启动YARN： sbin/yarn-daemon.sh start|stop resourcemanager|nodemanager
MapReduce分区机制（Hadoop）
喻师傅的学习笔记
04-17 901
mapreduce分区机制
伪分布Hadoop下安装Hive
最新发布
wanglingli95的博客
04-21 706
下载官网：MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/ （3）进入/usr/local/，使用rpm安装mysql解压后的其中5个包（按照以下顺序安装） （4）启动/关闭Mysql服务器 二、查看Mysql的原始密码并登录进入mysql （1）查看原始密码 （2）使用原始密码登录 （3）修改密码为Ad
MapReduce工作流程（Hadoop3.x）
喻师傅的学习笔记
04-17 1167
mapreduce
【BUG】ServerHttpResponseDecorator失效
imbzz的博客
04-16 401
【Spring Cloud GateWay】ServerHttpResponseDecorator不生效
17. Hadoop，下面哪个程序负责HDFS 数据存储() A.NameNode B.Jobtracker C.DatanodeD.secondaryNameNode E.tasktracker
06-08
Hadoop中，HDFS（Hadoop Distributed File System）是用于存储数据的分布式文件系统，它由两部分组成：NameNode和DataNode。 - NameNode: 负责管理文件系统的命名空间和客户端对文件的访问。它维护了文件系统中所有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值