DataNode启动异常"java.io.IOException: Cannot lock storage /i/dfs/dn. The directory is already lock"

最新推荐文章于 2023-01-03 14:13:25 发布
最新推荐文章于 2023-01-03 14:13:25 发布
阅读量1.9k 收藏
点赞数
分类专栏： hadoop cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fln250/article/details/78709486
版权
hadoop 同时被 2 个专栏收录
19 篇文章 0 订阅
订阅专栏
cdh
1 篇文章 0 订阅
订阅专栏

环境：CDH-5.10.2

1、以下为异常信息
这里写图片描述
2、发现问题
／data1、/data2、/data3都是挂载点，但是/i是个什么东西
3、df -h 查找挂载信息
这里写图片描述
发现／i确实一个挂载点，但是/data8是一个什么挂载点呢?
通过df -h /data8 查看
这里写图片描述
4、确定问题！
发现了没？/i和/data8挂载在同一个磁盘下，所以对一个磁盘操作两次，导致“The directory is already lock。

5、解决问题

  • umount /i #取消/i这个挂载点
  • 重新启动Datanode服务

参考网站：
https://discuss.pivotal.io/hc/en-us/articles/203055728-Datanode-fails-with-error-Cannot-lock-storage-xxx-The-directory-is-already-locked-

诚恳
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决办法：“Cannot lock storage /data/hadoop/hdfs/name. The directory is already locked.”
weixin_33889665的博客
04-22 2349
在启动hadoop的时候，会出现namenode节点启动不起来的情况。这时用以下命令查看日志：tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.log可以看到出现如下的提示错误信息：Cannot lock storage /data/hadoop/hdfs/name. The ...
Cannot lock storage . The directory is already locked.
H.B.Hooper
04-20 1216
Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /op
sinat_16962247的博客
10-19 365
错误为： 把/opt/hadoop/data  文件权限改为：
hadoop java.io.IOException: Cannot run program "nice"
zhoujj303030的专栏
12-04 1446
1.使用非root用户启动hadoop集群，然后跑job，job中有几千个文件执行mapreduce的时候总是出现以下错误： hadoop java.io.IOException: Cannot run program "nice"，而且过一会就会出现OutofMemory情况。 后来发现，因为mapreduce需要处理的文件特别多，导致打开了过多的文件，而linux系统默认非root
Cannot lock storage /home/centos/hadoop/dfs/name. The directory is already locked
FresherHe的博客
02-25 1217
Hadoop在全分布模式转为 HA 模式时，执行：hdfs namenode -initializeSharedEdits 抛出如下错误：Cannot lock storage /home/centos/hadoop/dfs/name. The directory is already locked 产生原因：Hadoop服务还在运行状态，出现了类似于占有的情况。同理，如果是格式化 名...
记一次DataNode启动异常"Cannot lock storage /opt/hadoop/hdfs/data. The directory is already locked"
lcm_linux的博客
11-20 1294
ambari上监控节点 发现有一台datanode节点启动后自动杀掉，查看日志发现如下报错： 显示目录被锁定了，分析可能是磁盘已满，df -h 检查磁盘情况，发现并无问题： 继续查看日志，发现新问题： 发现/data1目录也有问题，但是刚才查看磁盘，并未看见/data1目录挂载情况，因此使用lsblk继续查看： 问题一目了然：/opt和/data1目录共同挂载到/dev/s...
Hadoop操作错误记录
刘飞强丶Conan
12-20 542
1.在手动执行bin/hdfs secondarynamenode -checkpoint force手动执行checkpoint检查时出现错误 14/12/20 15:17:43 INFO common.Storage: Cannot lock storage /usr/local/hadoop/dfs/checkpoint. The directory is already locked
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
1、遇到问题 今天使用自己的电脑，使用外网操作... 查看DataNode是否启动； 有些数据块是损坏了，可以命令查看 阿里云防火墙已经关闭了 使用 jps 查看本地本地 datanode 启动没问题 使用 hadoop fsck /weblog/log.
hdfs_design.zip_系统设计方案_C/C++_
08-11
虽然Hadoop主要使用Java开发，但提供了HDFS的C/C++ API，允许非Java应用直接访问HDFS。这些接口使得开发者能够利用C/C++的强大性能和灵活性来处理HDFS上的大数据。 7. **HDFS的优化策略**： 为了优化HDFS性能，...
[hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
01-20
在Hadoop分布式文件系统(HDFS)的运行过程中，可能会遇到一个常见的错误，即"ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes"。这个错误通常意味着系统在尝试启动...
Java-org.apache.hadoop
06-02
Java-org.apache.hadoop是Apache Hadoop项目的核心组件，它在分布式计算领域扮演着至关重要的角色。Hadoop是由Apache软件基金会开发的一个开源框架，主要用于处理和存储大量数据。它设计的初衷是为了支持数据密集型...
分布式文件系统java客户端源代码.zip
最新发布
08-31
分布式文件系统（DFS）是一种在多台计算机之间存储和管理大量数据的系统，它通过网络将多台机器连接起来，形成一个统一的、高可用的存储层。在本压缩包中，我们关注的是一个Java实现的客户端源代码，用于与这种...
Hadoop集群所有的DataNode都启动不了解决办法
mmdlyn的博客
10-29 5128
首先会出现几种情况，才会出现启动不了datanode的情况。 1.首先修改过master那台的配置文件， 2.多次Hadoop namenode -format这种不好的习惯。 一般会出现一下报错： java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is alre
【bug】java.io.IOException: 另一个程序已锁定文件的一部分，进程无法访问。
qq_45841851的博客
01-03 1184
场景：我想要通过一个在solr中已经有的默认的solrCore进行文件复制，达到实现自动化配置solrCore的目的，但是在我文件复制的时候，遇到了问题。
java.io.ioexception_Java类加载器错误：原因：java.io.IOException：流关闭
weixin_42122306的博客
02-20 3586
当我将Webapp部署到Tomcat时，我遇到一个奇怪的错误，即我认为类加载器存在问题。当我使用Jetty在本地运行Webapp时，该错误没有出现。似乎我的.yml资源文件的输入流由于某些原因而被关闭，而实际上不应该这样做。当我尝试将单模块项目转换为多模块项目时，首次出现此错误。在此之前，它使用完全相同的代码在Tomcat上运行良好：Caused by: org.yaml.snakeyaml.er...
Hadoop format的时候The directory is already locked
曹世超的专栏
10-20 7452
Cannot lock storage /opt/data/hadoop/hdfs/name. The directory is already locked.   2012-05-20 22:13:05|  分类： Hadoop |  标签： |字号大中小 订阅 [root@nn01 bin]# ./hadoop namenode -format 13/10/2
java io ioexception,java.io.IOException：无法获取锁定
weixin_42531710的博客
02-12 962
Get error as"java.io.IOException: Couldn't get lock for ..\log\abc.log",not sure why this happen.Can somebody help me out? Thank youlogger = LogManager.getLogManager().getLogger(className);FileHandler...
mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x
热门推荐
遁入空门
09-03 1万+
1.hadoop fs -ls /user       检查
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.io.IOException: The path component: '/usr/local/hadoop' in '/usr/local/hadoop/dn_socket' has permissions 0755 uid 504 and gid 18. It is not protected because it is owned by a user who is not root and not the effective user: '0'. This might help: 'chown root /usr/local/hadoop' or 'chown 0 /usr/local/hadoop'. For more information: https://wiki.apache.org/hadoop/SocketPathSecurity at org.apache.hadoop.net.unix.DomainSocket.validateSocketPathSecurity0(Native Method)
07-12
这个错误是关于 Hadoop 中 DataNode 的安全性问题。根据错误信息，路径组件 `/usr/local/hadoop` 在 `/usr/local/hadoop/dn_socket` 中具有权限 `0755`，属于用户 `504` 和组 `18`。这个路径没有受到保护，因为它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值