hadoop运维--ha抛出journalnode can not write

最新推荐文章于 2023-04-24 23:33:27 发布
最新推荐文章于 2023-04-24 23:33:27 发布
阅读量4.3k 收藏
点赞数
分类专栏： hadoop那点事 文章标签： hadoop ha journalnode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/slx_2011/article/details/19635499
版权
本文针对hadoop版本cdh4.3.2，在高可用(HA)模式下遇到journalnode无法写入的异常进行了描述，并提供了解决方案：将正常JournalNode的数据拷贝至故障节点的journaldata目录，重启服务即可修复问题。
摘要由CSDN通过智能技术生成

hadoop版本cdh4.3.2


异常描述

journalnode提示不能写入，后端抛异常
1.6.232:50854: error: org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /data/hadoop/journalnode/journaldata/jn/mycluster not formatted
org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /data/hadoop/journalnode/journaldata/jn/mycluster not formatted
        at org.apache.hadoop.hdfs.qjournal.server.Journal.checkFormatted(Journal.java:451)
        at org.apache.hadoop.hdfs.qjournal.server.Journal.getEditLogManifest(Journal.java:634)
        at org.apache.hadoop.hdfs.qjo
最低0.47元/天 解锁文章
slx_2011
关注
专栏目录
Hadoop分布式文件系统之HDFS
xmh_sxh_1314的博客
04-30 3320
介绍 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问...
Flink v1.11 - 官网 - 部署与运维
MiaoSO的博客
09-08 2537
Flink v1.11 - 官网 - 部署与运维 Flink v1.11 - 官网 - 部署与运维 一、集群与部署 1.1 概览 1.1.1 部署方式 1.1.2 部署目标 1.1.3 Application Mode 1.2 Local Cluster - 本地集群 1.3 Flink Downloads 1.4 Hadoop Integration - Hadoop 集成 1.5 Standalone Cluster - 独立集群 1.6 YARN 1.6.1 Quickstart 1.6
hadoop 集群启动 ERROR: Cannot write datanode pid /tmp/hadoop-user-datanode.pid. 问题的解决
最新发布
qq_73174843的博客
04-24 2659
ERROR: Cannot write datanode pid /tmp/hadoop-user-datano如果以上两点都没有问题，还可以尝试使用其他路径来保存 pid 文件。提示在写入datanode.pid文件时没有权限无法写入；1.在一个目录下建立一个新的目录用于保存产生的临时文件；文件权限查看直接在文件夹目录下用 ll查看；清理掉一些不必要的文件或者扩展该分区的大小。如果磁盘使用率已达到 100%，就需要。hadoop-function.sh配。如：在Hadoop 目录下。1.检查文件或者权限。
启动MyCat报错：Could not write pid:No such file or directory 解决办法
scgwz的博客
06-15 1047
报错解决：找不到mycat.pid文件 MyCat启动不成功，先输入下面的命令查看启动状态： [root@zzz-node01 conf]# ../bin/mycat status Mycat-server is not running. 再输入下面的命令，查看报错信息： [root@zzz-node01 conf]# ../bin/mycat console Running Mycat-server...wrapper | ERROR: Could not write pid file /opt/my
HADOOP HA 踩坑 - org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storag...
weixin_30291791的博客
05-31 870
报错：在journalnode的log中： org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /mnt/data1/hadoop/dfs/journal/hdfscluster not formatted 状况： 大多数情况是namenode起...
/tmp/hadoop-hadoop-datanode.pid: Permission denied
u013808288的专栏
11-01 6574
今天终于要把分布式的集群搭建完毕啦，就在我与成功差之毫厘的时候，执行sbin/stop-all.sh  命令并不能把datanode关闭掉，无奈只能强制Kill掉 ，错误显示/tmp/hadoop-hadoop-datanode.pid: Permission denied   在网上搜索了好多办法有的说给tmp目录777权限，我没有成功，终于找到一个办法就是修改hadoop-env.sh文件
Hadoop 的 TotalOrderPartitioner
weixin_33872566的博客
06-27 156
http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/ Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求：1）均衡负载，尽量的将工作均匀的分配给不同的reduce。2）效率，分配速度一定要快。Mapr...
Hadoop总结
CharlesDavid
12-29 1094
Hadoop总结 文章目录Hadoop总结Hadoop概述Hadoop核心组件Hadoop优势分布式文件系统 HDFSHDFS架构HDFS设计思路HDFS环境搭建HDFS的使用HDFS shell操作HDFS shell操作练习资源调度框架 YARN什么是YARNYARN产生背景YARN的架构和执行流程YARN环境搭建分布式处理框架 MapReduce什么是MapReduceMapReduce编程模型Hadoop Streaming 实现wordcount （实验 了解）MapReduce实战利用MRJob
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9905
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
Journal Storage Directory not formatted
秀才的专栏
07-04 8854
hadoop实现HA后，需要部署三个Journal 节点，来同步namenode数据； 由于线上机器需要，要更好一台部署了Journal 节点的机器，于是停进程更换机器； Journal 节点建议是三个点，另找了台机器部署，启动进程，修改namenode节点的配置信息； 问题： 1.第一次报Journal 的目录没有，于是创建目录； 2.接着又报Journal 的目录没有格式化； 这如何
hadoop入门 启动 journalnode报错
yanghuadong的博客
02-03 9202
启动journalnode报错如下 [hadoop@salve001 ~]$ hdfs --daemon start journalnode ERROR: Cannot set priority of journalnode process 74165 [hadoop@salve001 ~]$ 查看报错日志提示 2021-02-03 10:42:05,421 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to s.
Hadoop启动集群时出现如下报错信息：/tmp/hadoop-hadoop-datanode.pid: Permission denied如何解决？
m0_69671651的博客
03-23 1225
hadoop用户启动集群报错的解决办法
【记录】namenode起不来，JournalNode起来后报错
遇事不决问春风
10-10 513
Waited 6001 ms (timeout=20000 ms) for a response for selectInputStreams. Succeeded so far: [172.16.88.130:8485]. Exceptions so far: [172.16.88.145:8485: Journal Storage Directory /dfs/jn/nameservice1 not formatted at org.apache.hadoop.hdfs.qjournal.server
Hadoop中namenode启动不起来解决方法
qq_44793689的博客
04-14 2827
之前Hadoop集群都能启动成功，今天准备使用hive的时候发现Hadoop中的namenode 启动不起来的，查看日志：2020-04-14 22:25:31,793 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote journal 192.168.52.110:8485 failed to writ...
hadoop单节点转HA搭建过程中出现的问题总结篇(二)
shursulei的博客
04-16 488
一、namenode的格式化报错 bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. n $$ 15/12/04 04:52:50 WARN namenode.Na...
master在hadoop用户下启动HA的journalnode失败，显示master: Host key verification failed 主机密钥验证失败
weixin_53891248的博客
11-07 1591
master在hadoop用户下启动HA的journalnode失败，显示master: Host key verification failed
Hadoop-2.8.0分布式安装手册
热门推荐
一见
09-11 1万+
目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登录范围 7 3.4. 修改最大可打开文件数 7 3.5. OOM相关：vm.overcommit_memory 7 4. 约定 7 4.1. 安装目录约定 7 4.2. 服...
Hadoop 踩坑小记
寒暄的博客
08-19 344
org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory XXX not formatted 1.关停集群 2.启动zk zkServer.sh start 3.启动journalnode hdfs --daemon start 启动journalnode 4.初始化journalnode hdfs namenode -initializeSharedEdits org.
HDFS源码解析之HDFS元数据写入机制剖析(七)
百看不如一RUN
07-08 801
1. HDFS元数据写入机制剖析 1.1 HDFS元数据如何写入内存? 我们接着上一篇博客的mkdirs之后到底发生了什么?之后我们目录已经创建到了我们的目录树上,那么接下来,我们是不是需要看一下元数据是如何写入磁盘的呢 1.1.1 createSingleDirectory private static INodesInPath createSingleDirectory(FSDirectory fsd, INodesInPath existing, String localName, P
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值