dfs.data.dir 配置导致datanode无法启动

最新推荐文章于 2023-07-16 20:40:11 发布
VIP文章 最新推荐文章于 2023-07-16 20:40:11 发布
阅读量1.3w 收藏 3
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxpbs8851/article/details/8295742
版权

在新装的hadoop集群中 由于大意 

dfs.data.dir参数 所对应的目录没有建立导致 该datanode没有起来：

错误信息如下：

2012-12-14 12:17:50,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties

2012-12-14 12:17:50,475 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2012-12-14 12:17:50,477 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2012-12-14 12:17:50,477 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2012-12-14 12:17:50,554 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2012-12-14 12:17:50,587 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: can not create directory: /data/hdfs/data <
最低0.47元/天 解锁文章
oO寒枫Oo
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop datanode重新加载失败无法启动解决.docx
09-26
Hadoop datanode重新加载失败无法启动解决.docx
dfs.datanode.data.dir(2.x)/dfs.data.dir(1.x)的作用
筷子的博客
01-29 956
  从官网找到这么一段 Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, t...
hadoop关于dfs.datanode.data.dir下多个目录不均衡问题
milyhj123的博客
09-15 9217
hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： &lt;property&gt; &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt; &lt;value&gt;/var/local/dfs-data,/usr/local/hadoop/dfs-data&lt;/v...
关于hadoop中datanode节点不同的dfs.data.dir之间数据均衡问题
anzuo0211的专栏
04-17 416
问题：集群中的存储数据增大，导致datanode的空间都快占满了（以前的dfs.data.dir=/data/hdfs/dfs/data），机器的硬盘监控程序不停的报警 。 给每台机器加了一倍的存储硬盘(新的dfs.data.dir=/data/hdfs/dfs/data，/data/hdfs/dfs/data2 新的硬盘挂载在/data/hdfs/dfs/da...
dfs.namenode.name.dir 和dfs.datanode.data.dir目录
qq_41808750的博客
03-05 6562
dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？ dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？有何作用？我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗？ 我们可以在本地文件系统的以上两个目录中找到HDFS文件系统中某个具体的文件或目录的位置吗？是否存在一一映射的关系...
dfs.namenode.name.dir 和dfs.datanode.data.dir dfs.name.dir 与 dfs.data.dir的意思
u011500419的专栏
05-12 8774
dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？ dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？有何作用？我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗？ 我们可以在本地文件系统的以上两个目录中找到HDFS文件系统中某个具体的文件或目录的位置吗？是否存在一一映射的关系？ dfs.namenode.name.dir是保存FsImage镜像的目录，作用是存放hadoop的名称节点n
【大数据】Hadoop常用启动命令.pdf
12-24
包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.sh 停⽌Hadoop HDFS守护进程NameNode、...
DataNode职责.pptx
05-17
DataNode职责
docker-hdfs-datanode:用于运行 hdfs 数据节点的 Docker 容器
06-23
TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs.datanode.https.address https 服务器 例子 docker ...
HDFS的概念-namenode和datanode.pdf
07-11
HDFS的概念-namenode和datanode.pdf 学习资料 复习资料 教学资源
从零开始Hadoop安装和配置.docx
最新发布
04-26
说明，因为这里涉及到多台计算机的共同操作，对于主节点namenode 整篇文章照做，对于datanode节点，除了Hadoop的配置，其他照做，如果配置主机数为多太，只需在后更改hadoop配置文件即可 ________________
从零开始Hadoop安装和配置.rar
04-26
说明，因为这里涉及到多台计算机的共同操作，对于主节点namenode 整篇文章照做，对于datanode节点，除了Hadoop的配置，其他照做，如果配置主机数为多太，只需在后更改hadoop配置文件即可 ________________
Hadoop学习笔记—3.HadoopRPC机制的使用
02-24
RPC，即RemoteProcdureCall，中文名：远程过程调用；...（2）Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode直接，Jobtracker与Tasktracker之间等。因此，可以说：Hadoop的运行就是建立在RP
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
08_高级集群配置.docx
02-24
dfs.namenode.handler.count 设置在HDFS/NameNode Group/Performance ■ NameNode 服务器线程数 ■ 用于来自客户端和DataNode 的RPC 调用的线程（心跳和元数据操作） ■ CM默认是30（非CM默认值为10） ■ 推荐...
hdfs硬盘中dfs.data.dir相关和一些说明
06-12 3202
HDFS 通过 dfs.data.dir 字段在配置文件中查询 DFS 的数据在本地文件系统中的存放位置。如果在服务器上配置了多块硬盘（假设都已经挂载到本地文件系统中），我们希望 HDFS 能尽量均衡、充分的利用磁盘。理论上 HDFS 也确实能胜任这项工作。在 HDFS 中，这样的一个存放数据的本地文件系统中的目录被称为 volume。 直接定位到 Datanode.java 中的代码：
Hadoop；DataNode多目录配置（增加硬盘）
程序员无羡的博客
07-16 376
Hadoop；DataNode多目录配置（增加硬盘）
hadoop client与datanode的通信协议分析
09-05
本文主要分析了hadoop客户端read和write block的流程. 以及client和datanode通信的协议, 数据流格式等
dfs.datanode.data.dir参数和dfs.namenode.data.dir
05-23
dfs.datanode.data.dir=/data/1,/data/2,/data/3 ``` 表示数据节点会在 `/data/1`、`/data/2` 和 `/data/3` 这三个目录中存储数据块。 `dfs.namenode.data.dir` 参数用于指定名称节点的元数据存储目录，即HDFS中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值