![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
华山论键
安能摧眉折腰事权贵,使我不得开心颜!
展开
-
如何保证HDFS数据的完整性
1)当DataNode读取block的时候,它会计算checksum2)如果计算后的checksum,与block创建时(第一次上传是会计算checksum值)值不一样,说明block已经损坏。3)client读取其他DataNode上的block.4)datanode在其文件创建后周期验证checksum掉线时限参数设置datanode进程死亡或者网络故障造成datanode无法与n...原创 2019-11-05 15:49:40 · 648 阅读 · 0 评论 -
hdfs的高级命令和安全模式
HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下 上传的文件数量或者文件内容的总量,以便达到我们类似百度网盘等限制每个用户允许上传的最大文件数量。1. 数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面...原创 2019-11-05 15:12:38 · 225 阅读 · 0 评论 -
HDFS的特性
1.海量数据存储:HDFS可横向扩展,其储存的文件可以支持PB级别或者更高级别的数据储存。 2.高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上。 3.商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(廉价商业硬件...原创 2019-11-05 14:57:03 · 631 阅读 · 0 评论