HDFS daily maintenance,, useful command

最新推荐文章于 2024-02-04 13:51:00 发布
最新推荐文章于 2024-02-04 13:51:00 发布
阅读量796 收藏
点赞数
分类专栏： Hadoop 文章标签： database hadoop hdfs maintenance
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linuxnc/article/details/22305183
版权

Hadoop version: Hadoop 2.2.0.2.0.6.0-0009

1.datanode report

cmd>%hadoop_home%/bin/hdfs dfsadmin -report
2.datanode balancer 

cmd>%hadoop_home%/bin/hdfs balancer -threshold 5 -policy datanode

3. Refresh datanodes --- Re-read the hosts and exclude files to update the set of Datanodes that are allowed to connect to the Namenode and those that should be decommissioned or recommissioned. 

cmd>%hadoop_home%/bin/hdfs dfsadmin -refresh<strong>N</strong>
Kelvin-Liang
关注
专栏目录
HDFS Maintenance State
走在前往架构师的路上
01-25 2403
前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什么意思呢，HDFS处于维护状态？说起维护状态，我们不禁可以联想到HDFS RollingUpgrad，没错，RollingUpgrade确实与HDF
HDFS简化版Maintenance state实现
走在前往架构师的路上
02-08 1218
文章目录前言 前言 在HDFS集群运维过程中，我们经常会遇到机器送修的情况，尤其在集群机器数量比较多的情况，每天因为坏盘或是其它硬件问题导致的机器维修是很常见的。对于集群维护者来说，机器的这种日常损坏我们是无法回避的，我们能做的是如何将这种机器维修的所造成的影响降低到最小。在现有的HDFS中，社区提供了一种叫做Maintenance state的功能来专门处理这种情况的。本文笔者来谈谈这个特殊的功能以及我们内部是如何简化此特性来方便于我们的使用的。 Maintenance state DataNode和普
HDFS注意点
每天进步一点点
12-12 206
  unlike a filesystem for a single disk, a file in HDFS that is smaller than a single block dose not occupy a full block's worth of underlying storage.(For example, a 1MB file stored with a block siz...
第119讲：HDFS的配置以及安全高效的HDFS配置最佳实践学习笔记
slq1023的博客
11-09 690
第119讲：HDFS的配置以及安全高效的HDFS配置最佳实践学习笔记 安全和高效是中高级用户关心的。 core-site.xml和hdfs-site.xml是hadoop最主要的配置文件。 core-site.xml中fs.defaults是namenode的uri。就是文件系统的uri,也就是文件系统的要目录。 hdfs-site.xml中的dfs.namenode.name.dir  
聊聊分布式存储系统的Decommission和Maintenance模式
走在前往架构师的路上
08-08 1116
文章目录前言Decommission模式Maintenance模式Decommission/Maintenance过程中的限流处理 前言 在分布式存储系统中，我们经常会遇到节点坏了挂掉的情况。这个时候我们通常的做法是将其进行送修处理。节点出现问题挂了这个现象本身不严重，这里的重点是我们如何依然保证其上数据对于用户的高可用性。这就是我们常说的存储节点的Decommission过程。本文笔者来聊聊D...
hdfs：HDFS的本机go客户端
02-03
Go的HDFS 这是hdfs的本地golang客户端。 它使用协议缓冲区API直接连接到namenode。 它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。...
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 1980
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
hdfs client分析：hdfs dfs -ls
派大星的技术人生
03-27 2439
shell脚本分析 实例命令：hdfs dfs -ls 对应脚本文件：bin/hdfs 对应具体脚本内容： COMMAND=$1 shift elif [ "$COMMAND" = "dfs" ] ; then CLASS=org.apache.hadoop.fs.FsShell 最终执行的命令： exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLAS...
CDH HDFS 概念集合
freeRoad
04-14 2210
Maintenance Mode 节点进入维护模式，不再接受写入请求，临时离开下很快回来。 基本不转移节点上的数据（除非其他节点上都没有该数据副本）需要很短时间。 HDFS Maintenance State_Android路上的人的博客-CSDN博客前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什
Hadoop3.2.0 HDFS命令指南
张伯毅的专栏
02-19 9887
HDFS命令指南 概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oiv_legacy snapshotDiff version Administration...
impala+hue
Kelvin Liang Study Footprint
02-23 2909
下载impala 和 hue http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_vd_cdh_package_tarball.html https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.5.0/RPMS/x86_64/ impala  i
说说我对spark-sql的job的参数调优
Kelvin Liang Study Footprint
02-19 2640
首先要说的是机器配置 namenode/datanode:  cpu : 8core  memory: 56G 我现在是基于yarn+spark的架构来说。 现在设置 yarn.nodemanager.resource.memory-mb =51200 (50GB)  --每个node可以最多使用50GB作为 container 的分配 yarn.scheduler.minimum
性能测试 hive Use ANALYZE table columns
Kelvin Liang Study Footprint
09-14 2088
测试记录数： 346804534  数据大小：20GB select eventchannel from event8 where pdate = '2015-09-01' and lower(eventchannel) rlike 'window' and eventsourcemachine rlike 'changhong' group by eventchannel having
SPARK & HIVE现在ACID的支持现状
Kelvin Liang Study Footprint
11-12 1354
在讨论之前，先介绍ACID是什么。 原子性（Atomicity） 原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性（Consistency） 事务前后数据的完整性必须保持一致。 隔离性（Isolation） 事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。 持久性（...
Experience on Namenode backup and restore --- checkpoint......
Kelvin Liang Study Footprint
03-27 1233
Hadoop version: Hadoop 2.2.0.2.0.6.0-0009 Well, We can do this by building Secondary Namenode, Checkpoint node or Backup node. Example: Assuming you have a Secondary Namenode. 1. Check secondary n
Experience on Namenode backup and restore --- checkpoint
Kelvin Liang Study Footprint
06-13 1224
Hadoop version: Hadoop 2.2.0.2.0.6.0-0009 Well, We can do this by building Secondary Namenode, Checkpoint node or Backup node. Example: Assuming you have a Secondary Namenode. 1. Check sec
CentOS7安装篇(hadoop平台搭建)
Kelvin Liang Study Footprint
04-20 1172
为了更好学习大数据，需要搭建一个学习的环境。有误的地方希望大家共同指教。 首先介绍下我的硬件： 2台pc机， 酷睿i7 ，16G 内存， 2T 硬盘 =============================================================================== 安装虚拟机VMware 10.0 在VMware上安装系统 CentOS7
restore hadoop primary namenode from secondary namenode checkpoint step by step
Kelvin Liang Study Footprint
04-17 937
senario  1) install namenode
hdfs：command not found
最新发布
06-05
HDFS是Apache Hadoop的分布式文件系统，用于存储大规模数据集并提供对数据的快速访问。它旨在将底层硬件故障视...如果您在调用时遇到“command not found”错误，可能是因为Hadoop未正确安装或未将其添加到系统路径中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值