【大数据清洗和预处理】1.8HDFS的shell操作（2）（学习笔记）

创建/ied02目录，将ied01/test.txt移动到/ied02目录，并且改名为exam.txt

在Hadoop WebUI界面查看 

9、文件合并下载
创建sport.txt、music.txt和book.txt并上传

在Hadoop WebUI界面查看上传的三个文件，注意文件名是按字典排序了的

 

合并/ied01目录的文件下载到本地当前目录的merger.txt，执行命令：hdfs dfs -getmerge /ied01/* merger.txt

下面，查看本地的merger.txt，看是不是三个文件合并后的内容

 

由此可见，merger.txt是book.txt、music.txt与sport.txt合并后的结果

10、检查文件信息
fsck: file system check —— 文件系统检查

检查/ied01/book.txt文件，执行命令：hdfs fsck /ied01/book.txt -files -blocks -locations -racks

我们知道HDFS里一个文件块是128MB，上传一个大于128MB的文件，hadoop-3.3.4.tar.gz大约663.24MB 

128 M B × 5 = 640 M B < 663.24 M B < 768 M B = 128 M B × 6 128 MB\times 5 = 640MB \lt 663.24MB \lt 768MB = 128 MB\times 6128MB×5=640MB<663.24MB<768MB=128MB×6 ，HDFS会将hadoop-3.3.4.tar.gz分割成6块。