m0_59972727的博客

1.shuffle过程2.mr优化

Q1.都有哪些压缩格式？可以使用Hadoop checknative检测本机有哪些可用的压缩方式Q2.压缩比，压缩时间如何？因为所有压缩算法都需要权衡时间和空间：压缩和解压速度更快，其代价通常是只能节省少量的空间。可以看出压缩比越高，压缩时间越长，压缩比：Snappy < LZ4 < LZO < GZIP < BZIP2gzip:优点：压缩比在四种压缩方式中较高；hadoop本身支持，在应用中处理gzip格式的文件就和直接处...

前置小知识：HDFS中的block、packet、chunk很多博文介绍HDFS读写流程上来就直接从文件分块开始，其实，要把读写过程细节搞明白前，你必须知道block、packet与chunk。下面分别讲述。block这个大家应该知道，文件上传前需要分块，这个块就是block，一般为128MB，当然你可以去改，不顾不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位。packetpacket是第二大的单位，它是client端向DataNode