hadoop 执行的时候查看log 出现 bad state: BETWEEN_LOG_SEGMENTS

最新推荐文章于 2021-08-31 12:21:02 发布
最新推荐文章于 2021-08-31 12:21:02 发布
阅读量813 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010011737/article/details/50747559
版权

在执行 一个案例的时候查看log日志出现bad state: BETWEEN_LOG_SEGMENTS


原因是自己把hadoop 下的 data ,name.tmp目录文件删除 ，重新 format 的时候  未把集群下所有的data、 name、tmp都删除



早上的阳光
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop原理和机制
qa962839575的专栏
01-15 8674
1、 SecondaryNameNode工作原理 namenode：首先来说对于每个文件操作，Hadoop并不会都写到fsimage，这样是很慢的，但是每次操作在提交后运行前先写入edits编辑日志，当edits编辑日志文件大小超过64M（参数可以设定），或者时间超过1小时（参数可以设定），secondarynamenode就会做checkpoint的工作，这时namenode产生临时空文
Hadoop中出现错误如何查看错误信息
super-yong的博客
01-18 6845
前面在配置hadoop的过程中，发现最开始安装解压之后，首先配置的就是hadoop的环境变量，而且配置的就是jdk的环境变量，后面配置完成之后查看进程也是使用的jps（java进程）查看服务是否运行的，所以hadoop实际上就是建立在java基础上的，他的所有服务都是一个java进程，所以首要的配置就是java环境变量，那么当某个服务或者运行在hadoop的某个应用出错时，如何查看输出的日志信息呢...
Hadoop3.2.1 【 HDFS 】源码分析 :FSEditLog 解析
张伯毅的专栏
09-10 8433
一. 前言 在Namenode中， 命名空间（ namespace， 指文件系统中的目录树、 文件元数据等信息） 是被全部缓存在内存中的， 一旦Namenode重启或者宕机， 内存中的所有数据将会全部丢失， 所以必须要有一种机制能够将整个命名空间持久化保存， 并且能在Namenode重启时重建命名空间。 目前Namenode的实现是将命名空间信息记录在一个叫作fsimage（ 命名空间镜像） 的二进制文件中， fsimage将文件系统目录树中的每个文件或者目录的信息保存为一条记录， 每条记录中包括了该文
Hadoop NameNode的元数据持久化存储FSImage和日志存储EditLog源代码分析
lskyne的专栏
04-24 8453
HDFS NameNode High Availability中一个关键的问题就是Editlog如何保存，怎么才能保证在Active和Standby的NameNode切换时Editlog不丢失记录，也不会重复计算。这就需要对NameNode的元数据持久化机制（metadata persistent storage）有比较深的理解。目前Hadoop EditLogs Re-write由Clouder
TAG_HADOOP:TAG_HADOOP
06-29
input / tag / logs /small.log [输出目录] 计算完成后查看结果：bin / hdfs dfs -cat [output_dir] /* 注意：输出目录的好地方是 /tmp。 任务也可能会尝试创建输出目录，但尝试写入已存在的目录可能会失败。 在任务...
Hadoop_test:Hadoop_示例
04-27
Hadoop图书示例代码 测试此存储库包含的示例代码 Tom White（O'Reilly，2014年）。 ，版和代码也可用。 请注意，各版本之间的章节名称和编号已更改，请参见各版本的。 建立和运行 要构建代码，首先需要安装Maven和...
cluster_editlog_imformation_list.sh
10-12
shell+python解析editlog文件
Hadoop_Session5_Assignment5.1:Assignment_5.1 UNIX概念的高级映射和简介
04-27
Hadoop_Session5_Assignment5.1 Assignment_5.1 UNIX概念的高级映射和简介
hadoop2.7.x_winutils_exe&&hadoop_dll
06-01
hadoop2.7.x_winutils_exe&&hadoop_dll
HDFS集群的Namenode对文件系统目录树的管理
loser与你
08-31 1171
HDFS集群的namenode文件系统目录树管理 HDFS集群的namenode文件系统目录树管理基本信息管理特性相关信息管理持久化  HDFS的目录和文件在内存中是以一颗树的形式存储的，目录树由namenode维护，namenode会修改这个树形结构以对外提供添加和删除文件等操作。文件系统目录树上的节点还保存了HDFS文件与数据块的对应关系，这一对应关系也是由namenode维护的。  namenode中最重要的两个功能之一就是维护文件系统的命名空间，文件系统的命名空间是以“/”为根的整个目录树，通过F
ubuntu搭建分布式hadoop-2.6.0概略和错误
Ran
11-13 3424
ubuntu搭建分布式hadoop-2.6.0
HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制
小昌昌的博客
09-03 5684
目录 前言 1.NameNode的启动和对edits和QJM相关配置文件的解析 2.使用FSImage和FSEditLog类对image和edit log文件进行读写和管理 3.EditsDoubleBuffer 双缓存，让flush和write同时进行，互不干扰 4.AsyncLoggerSetl类代理对QJM集群的读写 6.QuorumCall封装了对基于paxos算法的QJM集群的异...
java.lang.IllegalStateException异常产生的原因及解决办法
热门推荐
一万年太久 - 只争朝夕
02-27 39万+
问题描述： 错误类型大致为以下几种： java.lang.IllegalStateException：Cannot   forward   a   response   that   is   already   committed  IllegalStateException：response already commited  IllegalStateException：get
Hadoop 2.6 日志文件和MapReduce的log文件研究心得
infovisthinker的专栏
04-29 1万+
学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能，在这里总结一下。网上的资料并不丰富，甚至Google出来的结果也不是很满意，或许这个是太简单了，牛人都不屑来写。也可能是各个公司藏着掖着的东西。 Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manag
如何查看Hadoop运行过程中产生日志
system1190的专栏
02-26 2万+
如何查看Hadoop运行过程中产生日志 时间 2014-03-28 20:05:48  三劫散仙 原文  http://qindongliang1922.iteye.com/blog/2038096 主题 Hadoop 用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存
Web开发中常见的java.lang.IllegalStateException错误 解决办法
dw_java08的专栏
11-23 5666
今天在开发程序过程中遇到一个异常： 严重: Servlet.service() for servlet default threw exception java.lang.IllegalStateException     at org.apache.catalina.connector.ResponseFacade.sendError(ResponseFacade.java:407
java.lang.IllegalStateException:Bad magic number for Bundle: 0x6e0061
09-18 2431
e: Caused by: java.lang.IllegalStateException: Bad magic number for Bundle: 0x6e0061 09-04 10:24:12.098 5179 5179 E AndroidRuntime: at android.os.Parcel.readException(Parcel.java:2013) 09-04...
hadoop的log日志查错
u012302488的博客
03-16 2487
1.stderr http://datanode31:8042/node/containerlogs/container_1457675328277_0208_01_000002/***/stderr?start=0 即可转到相应datanode上查错。 2. kill 3.warn
hadoop102:10000: Address already in use: NET_Bind
最新发布
08-16
根据你提供的引用内容来看，"Address already in use: NET_Bind" 错误通常在网络编程中出现。这个错误通常表示该地址已被其他程序占用。在Windows系统中，可以通过结束javaw.exe进程来解决这个问题，然后重新启动...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值