![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
文章平均质量分 59
大明湖里有蛤蟆
做一个磁石
展开
-
HDFS NFS Gateway使用
hadoop的hdfs支持nfs挂载,挂载的思路是这样的。首先在集群中选择一个节点作为nfs的server,然后在集群外的节点作为nfs的客户端上进行挂载。集群外的节点为nfs的客户端,集群里面的nfs server的节点是nfs的服务器端,同时也是hdfs的客户端。原创 2015-06-03 16:11:30 · 2234 阅读 · 0 评论 -
HDFS和Hbase误删数据恢复
1.hdfs的回收站机制 客户有时会误删一下数据,是在生产环境下,误删数据会造成非常严重的后果。 2.hbase表删除恢复如果disable+drop误删了hbase表数据,数据不会放到回收站中,hbase有自己的一套删除策略。fs.trash.interval=0 以分钟为单位的垃圾回收时间,垃圾站中数据超过此时间,会被删除。如果是0,原创 2015-09-07 14:59:44 · 11115 阅读 · 1 评论 -
集群磁盘损坏导致hadoop文件丢失的概率计算
在与客户沟通的时候,经常会有客户询问关于hadoop的安全问题。由于hadoop的底层的磁盘不做raid或者仅仅是做raid 0,客户认为磁盘损坏容易造成数据丢失。你跟客户阐述采用3副本机制,客户也会说:即使3副本也会有3块不同节点的磁盘同时损坏的可能啊!这时候我会跟客户举例子算一下三个不同节点的磁盘同时损坏的概率。为了简单起见,我们假如数据节点上的文件都小于64MB,这样这些文件的每一个原创 2015-09-07 14:33:41 · 2547 阅读 · 0 评论 -
HDFS的快照原理和Hbase基于快照的表修复
前一篇文章《HDFS和Hbase误删数据恢复》主要讲了hdfs的回收站机制和Hbase的删除策略。根据hbase的删除策略进行hbase的数据表恢复。本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复。原创 2015-09-21 15:49:24 · 4898 阅读 · 0 评论