HDFS中Datanode挂载磁盘容量报警，如何增加挂载磁盘

最新推荐文章于 2024-05-21 11:24:53 发布
最新推荐文章于 2024-05-21 11:24:53 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43190860/article/details/93629915
版权

通过CDH集群管理界面的“主机”——“所有主机”，我们可以查看每个节点的磁盘和内存使用情况，如下
在这里插入图片描述
在这里插入图片描述
如果磁盘不够用了，需要增加挂载，怎么办？
首先查看服务器磁盘占用情况：df -h
在这里插入图片描述
假设这里50G是之前挂载的，现在想要挂载这个83G的，需要在对应目录下创建一个目录dn，即：

cd /home
mkdir dn

注意：创建dn目录后，要将其所属组修改为hdfs，否则修改配置后hdfs无法重启

chgrp hdfs -R dn

然后修改datanode.data.dir参数（增加/home/dn）
在这里插入图片描述
最后重启HDFS即可

哇哈哈水有点甜
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS免重启挂载新磁盘
m0_56069948的博客
02-26 272
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 背景 在生产环境中，集群节点磁盘大小不同，其使用率也会不同，HDFS虽有均衡策略，但也会有数据不平衡的情况，有些节点磁盘就会被打满，然后这个节点就不健康了（Unhealthy Nodes），Yarn的磁盘阈值检查（yarn.nodemanager.disk-health-che
CDH磁盘空间即将满之后的解决措施
枫夜
08-28 4084
版本环境 CDH 5.15.5 8台主机，每台机存储100GB，内存为8GB 问题 CDH页面报错，一些服务挂掉，无法使用。查看主机存储，发现有3-4台机器的存储即将满了。而namenode的存储空间即将满。 解决措施 登录namenode的后台，删除不必要的文件。因为是使用ansible进行批量的部署，所以本机依旧存储之前的安装包，总大小大概为8GB左右。删除该安装包，腾出8GB。 CM管理控...
【Hadoop】DataNode 数据盘进行磁盘DiskBalancer
最新发布
康师傅没有眼泪
05-21 2457
DiskBalancer是一个命令行工具，可在DataNode的所有磁盘上均匀分发数据。 此工具对给定的DataNode进行操作，并将块从一个磁盘移动到当前DataNode的另一个磁盘。DiskBalancer通过创建计划并继续在DataNode上执行该计划。 计划是一组陈述，描述了两个磁盘之间应该移动的数据。 计划由多个移动步骤组成。 移动步骤具有源磁盘，目标磁盘和移动的字节数。 可以针对运行数据节点执行计划。DiskBalancer是一个相对独立的线程，它可以对数据的复制进行限流。
Hadoop datanode磁盘扩容
weixin_34293246的博客
01-28 319
2019独角兽企业重金招聘Python工程师标准>>> ...
hdfs datanode通过添加数据盘扩容
weixin_30609331的博客
03-30 402
最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。 通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。 第一步：备份hdfs-site.xml配置文件 cp hdfs-site.xml hdfs-site.xml.20190330.bak 第二步：添加数据磁盘、格式化，并挂载到/da...
【hadoop】 2004-hdfs datanode容错
艾文
04-03 1048
DataNode 每隔一段时间向NameNode回报信息。通过心跳机制（RPC机制）通信，如果             dfs.replication        3   其中当一个节点宕机后，NameNode会让DataNode水平复制数据块到其他DataNode节点，以确保数据安全，从而实现了HDFS中DataNode容错能力。
Hadoop集群datanode磁盘不均衡的解决方案
01-29
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地...
12_尚硅谷大数据之HDFS_DataNode1
08-03
本文将深入探讨HDFS中的DataNode及其相关知识点，包括DataNode的工作机制、数据完整性、掉线时限参数设置以及如何服役新数据节点。 6.1 DataNode工作机制 DataNode是HDFS的基石，负责实际的数据存储。每个DataNode...
docker-hdfs-datanode:用于运行 hdfs 数据节点的 Docker 容器
06-23
在 docker 容器中运行 hdfs 数据节点 暴露端口 TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs....
【HDFS篇10】DataNode相关概念1
08-04
4. **动态扩展**: HDFS集群在运行过程中可以安全地添加或移除DataNode。新增节点时，只需要按照特定步骤配置并启动新节点；退役节点时，可以通过白名单或黑名单策略控制。 **数据完整性** DataNode在读取数据块时...
DataNode 磁盘退役之投机取巧
iTch_nFiG的博客
09-20 186
Hadoop DataNode 单磁盘退役之投机取巧 场景： 由于Hadoop 目前并不支持DataNode的单个磁盘退役,但是如果对于网络流量敏感的时候,我们想要进行DataNode单个磁盘退役该怎么办呢 解决方案： 由于DataNode本身也存在磁盘健康检测,那么我们可以主动把DataNode的磁盘变成“不健康”,例如把目录全的用户组修改,或者粗暴一点把权限设置为000(注意这里会受另外一个参数影响dfs.datanode.failed.volumes.tolerated 这..
cloudera manager和cdh目录空间报警解决
zhaomeng1123的专栏
10-27 5467
相信使用cloudera manager管理集群最先遇到的一个问题就是目录空间不够默认路径都在系统盘，系统盘一般不会很大。所以最笨的办法是安装包的路径和各个组件输出路径配置到其他大的目录，但这种方式不利于维护！我现在都是所有报警目录都做软链接到大的磁盘目录，如，/data目录空间较大，挂了一个2个T的磁盘，可以软链接到这，如 mv /dfs /data/ ln -s /data/dfs /dfs
Hadoop集群中添加硬盘
sun_168的专栏
11-22 5561
Hadoop工作节点扩展硬盘空间 接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。 这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。 1.    首先，介绍一下用到的基本命令和配置，如果本文的网友时间比较紧，可以直接跳过部分内容，直接看“2.   如何加载新硬盘”部分。 （1
记一次CDH集群磁盘空间报警
激进的蜗牛
11-20 1063
事情经过: 早晨上班查看集群时发现集群HDFS和Yarn爆红,如下: 点进去发现HDFS报错为xxx机器的/data空间少于%10,/data是我们集群的数据存储文件夹.Yarn的报错为xxx机器日志存储文件空间不足.该日志存储位置也是在/data下面的. 集群因很久没有做过扩容而且数据一直在增加,在跑大的MR任务的时候,因为MR会生成临时文件,时常因为临时文件多而发出空间不足的警告.但...
CDH6.0.1环境Hadoop集群性能测试
L, there!
07-31 4782
本次主要是对新集群的性能测试，测试环境： 系统 环境 台数 CPU 内存 硬盘 Centos7.3 CDH6.0.1 3台 32 64G 16T Hadoop自带的测试工具：Hadoop基准测试 首先，对服务器做一下测试，主要是磁盘I/O和网络I/O。 磁盘I/O 读测试 hdparm用于查看硬盘的相关信息或对硬...
从零开始搭建CDH（三）---观察HDFS
wyj1023405602的博客
08-11 715
之前在CDH上安装好了服务HDFS，这里观察一下HDFS包括数据持久化和文件读写在内的一些工作流程。 目录 1. 数据持久化观察 2. HDFS文件读写观察 2.1 新建文件目录 2.2 上传文件 2.3 下载文件 1. 数据持久化观察 进入HaDoop页面观察其启动过程： 加载镜像文件fsimage 加载日志文件edits 保留checkpoint ...
CDH集群日志清理
延宝小白马的博客
09-27 1457
1.2 还有一个是 Cloudera Management Service服务产生的日志，存在/var/lib/...1.1 cdh的各组件的日志一般在/var/log目录下(最好前面加上/data)，因此主要关注“/”查看/data/var/log下使用空间较大的文件夹，并由大到小排列。1.1 清理cm、cdh组件的日志数据。1.3 清理hdfs回收站数据。1.2 清理监控服务的数据。
CDH 常用指令及问题处理
骑着蜗牛绕地球
03-23 4567
1.常用指令 ## 主节点启动server systemctl start cloudera-scm-server ## 从节点启动agent systemctl start cloudera-scm-agent ## 停止 systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agent service supervisord stop systemctl disable cloudera-scm-server # 关闭开机启动
元数据用来记录HDFS中所有DataNode的信息吗
06-01
不是的，元数据不用来记录HDFS中所有DataNode的信息。在HDFS中，元数据主要用于记录文件和目录的信息，包括文件名、大小、块信息、副本数量、权限和时间戳等。这些信息存储在Namenode中，而不是记录DataNode的信息。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值