Hadoop Streaming是一个编程工具，允许使用任意编程语言编写MapReduce任务，减轻了对Java的依赖。然而，它存在局限性，如依赖标准输入输出、仅处理文本数据以及额外开销。本文介绍了Hadoop Streaming的工作原理以及如何使用它，包括关键参数的解释。
刚来公司的时候就发现大家都在使用Hadoop Streaming 来执行任务，当时还在想名字里有Streaming，Hadoop也拿来做实时计算工具了吗？后来发现原来只是我学得太少，对编程工具的理解太片面了。
那么接下来就来看看什么是Hadoop Streaming，为什么要使用Hadoop Streaming、Hadoop Streaming的原理以及怎么使用Hadoop Streaming。
什么是Hadoop Streaming
Hadoop Streaming是Hadoop提供的一个编程工具，由Hadoop提供。
为什么使用Hadoop Streaming
之前习惯了使用Hadoop框架来进行数据处理，Hadoop框架是用Java语言写的，也就是说如果想用Hadoop框架来执行MR任务，那么需要开发者会Java编程语言，这样子让不会Java语言的开发者怎么办？重新学习一门新语言吗，好像也不是不行(-，但是太麻烦啦，时间成本很高，因此Hadoop Streaming就出现啦！
Hadoop Streaming允许用户使用任何程序语言来编写mapreduce里的Mapper 和 Reducer函数，无论你会不会Java，只要会某种编程语言，都能通过Hadoop Streaming来编写MR程序（公司用的都是Python，为了合群只能先学习Python！）
最低0.47元/天 解锁文章
扫一扫
9367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
