weiqiang2的博客

2.4.2 combiner函数 集群的贷款限制MapReduce作业的数量，为了避免map和reduce任务之间的数据传输，为map任务的输出指定一个combiner（map函数的输出走位combiner的输入，combiner的输出作为reduce函数的输入）优化方案 自己的理解：combiner也就是一个map对应的一个reduce，每个combi

第三章 Hadoop分布式文件系统3.1 HDFS的设计 超大文件； 流式数据访问； 低时间延迟的数据访问； 不适用于访问时间有限制的应用 多用户写入；只能但用户在文件末尾修改 大量的小文件； 商用硬件； 硬件便宜 任意修改文件；只能在文件末尾修改3.2 HDFS的概念 数据块：大小默认为64MB，磁盘的一般为51

第四章 Hadoop的I/O操作4.1 数据的完整性 当数据量达到hadoop处理的极限时，可能会破坏数据的完整性。 检测数据完整性的常见措施： 匹配校验和（第一次引入系统时计算的校验和 是否等于 通过不可靠通道时计算出来的校验和，常用的校验方式...