hadoop整理(二):hdfs(1)

本文介绍了Hadoop分布式文件系统HDFS的基本命令,包括文件上传、下载、新建目录、追加内容、修改权限等操作。详细解析了HDFS的工作机制,如文件上传时的数据分块、副本存储策略,以及NameNode中的元数据管理。还提到了NameNode的checkpoint机制,确保元数据一致性。
摘要由CSDN通过智能技术生成

基本命令:
hadoop fs -help
上传: hadoop -fs -put xxx.txt hdfs://nn:9000/
下载:-get
新建目录: -mkdir
追加内容:-appenToFile (hdfs里文件内容不可修改,但可追加)
修改权限:-chmod 等 (hadoop的用户检查很弱,不管你修改的用户是否存在都会实现修改)
从本地复制:-coptFromLocal
删除文件: -rm [-f] [-r|-R] 递归删除 (-rmdir 是删除空目录 )
查看尾部: -tail [-f] (可用于查看一些日志文件的更新)
查看hdfs总空间: -df
查目录下文件的大小: -du [-s] (eg. hadoop -du -s -h hdfs://hadoop:9000/*)

工作机制:

下载文件:
客户端找NameNode,得到NameNode返回的存储位置之后,客户端去dataNode里面找

上传文件:
1.客户端向NameNode请求上传文件
2.NameNode核实该文件不存在后,同意客户端请求
3.客户端把文件分块,并按块存入所分配的DataNode里

副本:一本有三个,在客户端把块传给DataNode之后,由DataNode自己复制两份给另外两个DataNode。
第一个副本:在运行客户端的节点上
第二个副本:放到另外一个机架上<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值