该博客探讨了Hadoop文件系统(HDFS)中文件块的管理，包括如何查看文件块信息，如使用`hadoopfsck`命令的不同选项。强调了分区表在Hive中的影响，指出小分区可能导致单个文件只有一个块，而大分区可能跨越多个块。此外，还提到了Sqoop导入数据时的类似情况。博客提醒注意这些细节，因为它们影响NameNode的负载和查询效率，并提出了优化建议。
查看这个文件中有多少块
看文件信息
hadoop fsck /user/filename
更详细的
hadoop fsck /user/filename -files -blocks -locations -racks
-files 文件分块信息，
-blocks 在带-files参数后才显示block信息
-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置，
-racks 在带-files参数后显示机架位置
hive 分区表要注意如果分区维度太小。是的每个分区只有几条数据，那这几条数据会被存在一个文件里，也是单独的一个hdfs 块。如果这个分区超过129m（当hdfs块为128m时） hive 表的这个分区默认会存在两个块里。 分区需谨慎，这样不仅加重了namenode 的负担，也不利于查询统计
sqoop 如果sqoop 每次导入只有几M,那么这几m 也是单独的一个块. sqoop 好像没有合并命令，目前解决方法只能 hive insert overwrite 表名 select* from 表名
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
