hdfs 日常操作
mnasd
这个作者很懒,什么都没留下…
展开
-
hadoop dfsadmin -setSpaceQuota 设置目录配额的问题
通过该命令可以来限定某个hdfs目录的大小: hadoop dfsadmin -setSpaceQuota 3000 /group/d_sdo_data/user/liuxiaowen 但设定之后,put一个2000多字节的文件时候报错: Java代码 12/05/14 15:41:24 WARN hdfs.DFSClient: DataStreamer Except...转载 2018-07-18 14:17:06 · 744 阅读 · 0 评论 -
DataNode自定义监控
采集路径:http://r720ip67:50075/jmx?qry=Hadoop:service=DataNode,name=*一、DataNode性能信息(核心指标)Hadoop:service=DataNode,name=DataNodeActivity-R720ip67-50010MetricType(GAUGE,COUNTER)类型业务意义备注BytesWrittenCOUNTER To...原创 2018-07-13 13:32:24 · 1470 阅读 · 0 评论 -
HDFS集群重启(不含HBase,允许业务中断)
Step1:关闭无状态的服务,比如Yarn;Step2:逐个重启DN实例;Step3:逐个重启JournalNode实例;Step4:观察DN、JournalNode和NN服务都正常的情况下,进行下一步(主要是NN的状态);Step5:关闭两个NN实例;Step6:重启NN的Active实例(JournalNode必须全部启动);Step7:观...原创 2018-07-13 11:36:15 · 1421 阅读 · 0 评论 -
HDFS NN切换到HA的过程(CDH)
一、在主页上找到“启动High Availablity”二、选择新增角色NN backup和3个JournalNode的节点三、确定新增实例的目录原创 2018-07-13 11:35:37 · 819 阅读 · 0 评论 -
yarn 配置
原创 2018-07-13 11:14:43 · 424 阅读 · 0 评论 -
HDFS Balancer(HDFS重新平衡)
参考文档: http://blog.csdn.net/chilianyi/article/details/50946818https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hdfs_balancer.html CDH官网文档1.快速入门当前存储集群...原创 2018-07-13 09:38:09 · 1711 阅读 · 0 评论 -
distcp解决HDFS部分Datanode空间占用率高的问题
官方文档:http://hadoop.apache.org/docs/r1.2.1/distcp.html1.确定要distcp的目录Hadoop集群一般是逐步扩容的, 对于老的静态数据就会集中存储在老的Datanode上,导致老的Datanode的空间占用率很高。找出陈旧的静态数据目录使用distcp命令拷贝到新目录是一种“安全”的做法。找出陈旧的静态数据目录的标准:目录创建时间和里面内容的最后...原创 2018-07-13 09:36:34 · 1829 阅读 · 0 评论 -
DN文件系统损坏
一、现象dmesg应该还有输出,这里没有收集到。基本判定磁盘文件损坏,需要修复。二、修复前准备在CDH主页关闭该主机的所有角色。如果主机上存在HBase的RS,则需要现在HBase页面对RS“解除授权”。三、修复过程使用fsck 扫描文件系统时一定要在单用户模式、修复模式或把设备umount后进行(这里选择umount)。umount /dat...原创 2018-07-13 09:33:01 · 319 阅读 · 0 评论 -
DataNode Decommission
参考文档:https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_mc_decomm_host.html⚠️注意1.如果复制因子是3,每次最多退役2台DataNode;2.在退役之前要通过fsck检查块的状态,解决块异常;3.退役DataNode需要移动大量的数据,会对性能有影响,且耗时一般比较长; 一、进入要被退役的D...原创 2018-07-13 09:28:48 · 1027 阅读 · 0 评论 -
Hadoop常用命令
这篇文章主要是讲一下位于bin下的hadoop命令,我们可以直接输入hadoop无任何参数看一下: 用法就是:hadoop [---config confdir] COMMAND此处COMMAND就是下面列出来的那些,fs, version,jar 等等。用户命令fs目前版本的hadoop已经摒弃了fs命令,取而代之的是hdfs dfs. Usage: hdfs dfs...转载 2018-07-18 14:33:42 · 904 阅读 · 0 评论 -
NameNode自定义监控
采集指标的地址(以HBase39集群的HDFS为例):http://xxxxxx:50070/jmx?qry=Hadoop:service=NameNode,name=*一、NameNode文件系统详细信息(核心指标)Hadoop:service=NameNode,name=FSNamesystemHadoop:service=NameNode,name=FSNamesystemStatMetri...原创 2018-07-13 13:34:11 · 2824 阅读 · 0 评论