hadoop streaming 技术整理

最新推荐文章于 2020-12-29 01:32:58 发布

chenxinl

最新推荐文章于 2020-12-29 01:32:58 发布

阅读量1.7k

点赞数

分类专栏：开发文章标签： hadoop output 框架分布式计算 merge 网络

本文链接：https://blog.csdn.net/chenxinl/article/details/6893630

版权

本文详细梳理了Hadoop Streaming的工作原理，包括分布式计算框架、mapper和reducer的交互过程、数据处理逻辑以及跨语言支持。通过分析map-reduce流程，解释了数据如何在mapper与reducer之间传输、排序和合并。此外，还探讨了如何在压缩文件与split支持之间取得平衡，以及streaming如何允许使用任意可执行程序进行map和reduce操作。

摘要由CSDN通过智能技术生成

这两年零零散散用hadoop做了些项目，也看了些hadoop相关资料，每回都是现学现用。这回做kbuild项目，要用到hadoop streaming，发现很多东西又忘了，趁这次机会把hadoop相关的知识再过一遍整理下。

hadoop由两部分构成，分布式文件系统hdfs，和并行计算框架map-reduce。做应用开发，都是跟map-reduce打交道；hdfs逻辑上相对来说比较简单，可以参考：http://hadoop.apache.org/common/docs/current/hdfs_design.html 。map-reduce相关文档：http://hadoop.apache.org/common/docs/current/mapred_tutorial.html； http://hadoop.apache.org/common/docs/current/streaming.html 。

map一般做分布式计算，reduce做数据收集。map对外提供的编程接口：map(K1 key, V1 value, OutputCollector<K2, V2> output, Reporter reporter)，处理输入的KV对，处理结果放到output中；output的结果经由框架处理，传递给reduce，相应接口：reduce(K2 key, Iterator<V2> values, OutputCollector<K3, V3> output, Reporter reporter)，对一个key一系列的value处理结束后，结果再放入output中。这样一个简单的map-reduce就结束了。框架层面会帮我们处理以下事情：

1. mapper的数量如何确定，这些mapper该起在那些tasktracker机器上࿱