HDFS模块

我要改名字qWq

已于 2022-03-25 14:45:57 修改

阅读量269

点赞数

分类专栏：面试-2021-02 文章标签： hdfs

于 2021-02-20 21:23:02 首次发布

本文链接：https://blog.csdn.net/wenqiangW_/article/details/113896383

版权

本文详细介绍了HDFS的元数据存储机制，包括内存中的完整元数据和磁盘上的fsimage镜像文件及Edits编辑日志文件。当有新操作时，元数据首先更新到Edits，然后同步到内存。此外，还阐述了NameNode的工作机制，如Secondary NameNode的角色，以及HDFS的高可用机制，包括Active和Standby Namenode如何保持命名空间和DataNode元数据的一致性，确保故障切换的无缝衔接。

摘要由CSDN通过智能技术生成

一.HDFS基本命令

hdfs dfs
       -ls -R     :递归展示所有内容
       -mkdir   :创建文件夹
          -p    :级联创建
       -touchz    :创建文件
       -put/copyFromLocal    :上传文件  hdfs dfs -put  a.txt /  上传文件到HDFS根路径
       -get/copyToLocal   :文件下载   hdfs dfs -get /a.txt ./ 将dfs根目录下的a.txt下载到当前文件夹
       -getmerge    :合并下载    hdfs dfs -getmerge  /aa/*.txt ./a.txt    将aa目录下的文件合并下载到当前文件夹的a.txt
       -cp   :在hdfs文件系统中复制
       -mv   :在hdfs文件系统中移动
       -rm   :删除
       -rm -r -f ：删除包含当前目录下的内容
       -rmdir   :删除空文件夹
       
       跨文件系统:
           -copyFromLocal       
           -copyToLocal
           -moveFromLocal
           -moveToLocal
       
      -appendToFile   :追加内容到已经存在文件  hdfs dfs -appendToFile a.txt /c.txt  将当前路径下的a.txt追加到dfs的c.txt
      -cat   :打印文件内容，文件序列化了只能看到序列化之后的内容
      -tail   :查看结尾
      -text   :字符串形式打印内容，看到的一直是文件的非序列化内容
      -count   :统计指定目录文件数目  
      
      -setrep   :单独设置hdfs中文件的副本数量  hdfs dfs -setrep 2 /c.txt  设置c.txt的文件副本数为2
      -du -h 查看各级

最低0.47元/天解锁文章

我要改名字qWq

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
HDFS模块

一.HDFS基本命令hdfs dfs -ls -R :递归展示所有内容 -mkdir :创建文件夹 -p :级联创建 -touchz :创建文件 -put/copyFromLocal :上传文件 hdfs dfs -put a.txt / 上传文件到HDFS根路径 -get/copyToLocal :文件下载 hdfs dfs -get /a.txt ./ 将dfs根目
复制链接

扫一扫

专栏目录