Hadoop-2.4.1学习之Streaming编程

       在之前的文章曾提到Hadoop不仅支持用Java编写的job,也支持其它语言编写的作业,比如Hadoop Streaming(shell、python)和Hadoop Pipes(c++),本篇文章将学习Hadoop Streaming编程。Streaming是hadoop自带的工具,封装在hadoop-streaming-版本号.jar中,可以使用hadoop jar hadoop-streaming-版本号.jar命令启动,在该命令中还需要指定mapper或/和reducer,其中mapper和reducer任务既可以是java类,也可以是可执行文件(如cat)或脚本文件(如python)。该工具将创建MapReduce作业,将作业提交给集群处理并监控作业的执行进度等,下面分析一下Streaming的执行过程。

      当可执行文件做为mapper或者reducer时,每个mapper任务或者reducer任务在mapper或者reducer初始化后将可执行文件做为独立的进程加载运行。当mapper任务运行时,它将输入转换为行然后把这些行传递给该进程的标准输入stdin,同时mapper收集从该进程的标准输出stdout产生的行并将每行转换为键值对,这些键值对将做为该mapper的输出。默认的情况下,一行的开始部分到第一个tab符为键,剩余的部分(不包括tab符)为值,如果某行不存在tab符,则整个行将做为键,而值为null。但可通过使用-inputformat命令行选项自定义键值分隔符。当reducer任务运行时,它将输入的键值对转换为行,然后传递给该进程的标准输入stdin,同时reducer任务收集该进程标准输出stdout的输出,并转换为键值对&#

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值