使用hadoop streaming运行Python MapReduce程序

最新推荐文章于 2021-10-21 15:23:51 发布
VIP文章 最新推荐文章于 2021-10-21 15:23:51 发布
阅读量673 收藏 2
点赞数
分类专栏： 大数据 文章标签： hadoop python mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oxygensss/article/details/116089858
版权

流程：
1.获取配置信息，获取job对象实例
2.指定本程序jar包所在位置
3.关联mapperreduce
4.指定mapper输出数据kv类型
5.指定最终输出数据kv类型
6.指定job的输入原始文件所在目录
7.指定job的输出结果所在目录
8.🆗
使用hadoop streaming运行Python MapReduce程序

Hadoop Streaming是Hadoop提供的一种编程工具，允许用户用任何可执行程序和脚本作为mapper和reducer来完成Map/Reduce任务，这意味着你如果只是hadoop的一个轻度使用者，你完全可以用Hadoop Streaming+Python/Ruby/Go 等任何你熟悉的语言来完成你的大数据探索需求，又不需要写上很多代码。

1.hadoop streaming的工作方式

hadoop streaming的工作方式如下图(在这里我们只谈跟hadoop streaming相关的部分，至于MapReduce的细节不予赘述)。与标准的MapReduce(以下简称MR)一样的是整个MR过程依然由 mapper、[combiner]、reducer组成(其中combiner为可选加入)。用户像使用java一样去用其他语言 编写MR，只不过Mapper/Reducer的输入和输出并不是和java API打交道，而是通过该语言下的标准输入输出函数来进行。我在图中尤其标注了绿色的框框，是你应该关注并自己编写的mapper和reducer的位置。

最低0.47元/天 解锁文章
神音sss
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用hadoop-streaming运行Python编写的MapReduce程序.rar
05-09
使用hadoop-streaming运行Python编写的MapReduce程序.rar
MapReduce开发之Hadoop Streaming
weixin_50722238的博客
12-03 217
MapReduce开发之Hadoop Streaming
使用hadoop-streaming初体验mapreduce
DaHuangXiao的博客
05-15 2509
接下来记录一下如何使用hadoop-streaming运行一个简单的mapreducehadoop-streaminghadoop-streaming和spark-streaming不是一个意思简单的说hadooop-streaming是一个框架，可以让任何语言编写的mr程序都能在hadoop上运行，只需要遵循标准输入stdin输出stdout即可。因此我们可以用python写一个mr过程来体验一...
Hadoop基础操作--运行MapReduce任务
m0_58945994的博客
10-21 2921
一、了解Hadoop的示例程序包： 在本地目录中“$HADOOP_HOME/share/hadoop/mapreduce"下可以发现一个名为”hadoop-mapreduce-examples-2.6.4.jar"的示例程序包（我这里的Hadoop版本是2.6.4，所以程序包也是2.6.4），这个程序包里有一些自带的测试模块，这里我就不都列举了，可以自己查看自己的程序包下面的测试模块。其中wordcount适合对文件的数据进行登录次数的统计。 二、提交MapReduce任务给集群运行 ...
python hadoop streaming_如何在Hadoop中使用Streaming编写MapReduce(转帖)
weixin_39743603的博客
12-29 84
作者：马士华 发表于：2008-03-05 12:51 最后更新于：2008-03-25 11:18版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息。http://www.hadoop.org.cn/hadoop/hadoop-streaming/Michael G. Noll在他的Blog中提到如何在Hadoop中用Python编写MapReduce程序，韩国的goga...
Python+Hadoop Streaming实现MapReduce任务
czl389的专栏
08-16 9084
Hadoop Streaming Hadoop streaming是Hadoop的一个工具， 它帮助用户创建和运行一类特殊的map/reduce作业。 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如，我们可以用Python来编写脚本：mapper.py和reducer.py。 $HADOOP_HOME/bin/hadoop jar
用python+hadoopstreaming编写分布式程序
02-26
DougCutting和MikeCafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现，即同名的MapReduce和HDFS，合起来就是Hadoop。MapReduce的Dataflow如下图，原始数据经过mapper处理，再进行partition和sort，到达...
hadoop运行python编写的mapreduce程序
03-01
利用hadoop-streaming框架运行python脚本指令
Hadoop-Streaming:Hadoop2.6 MapReduce2 Python3.5的一些经典入门程序：词频统计、好友推荐、PageRank
05-15
Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 Why MapReduce? 1.海量数据在单机上处理因为硬件资源限制，无法胜任 2.而一旦将单机版...
python文件hadoop_Python API 操作Hadoop hdfs详解
weixin_39717692的博客
12-01 371
1：安装由于是windows环境(linux其实也一样)，只要有pip或者setup_install安装起来都是很方便的>pip install hdfs2：Client——创建集群连接> from hdfs import *> client = Client("http://s100:50070")其他参数说明：classhdfs.client.Client(url, root...
MapReduce全局排序实践（利用Hadoop Streaming配置项）
Yage的博客
04-14 1524
有两个文本，a.txt和b.txt，目的是想整合两个文本按照第一列（key）的数值全局升序排列 这个全局排序可以在本地通过linux命令进行： [root@master boya]# cat a.txt b.txt | sort -k1 但是输出结果并不是按照数值升序： 这是因为sort -k1默认队第一列的各key按照从左到右逐个比较对应的数字的ASCII码来排序的（字典排序），因此我们需...
在Hadoop中使用Streaming编写MapReduce
【昆山人在上海】
01-19 1073
使用PHP编写Map / Reduce代码： wc_mapper.php #!/usr/bin/php <?php   error_reporting(0);   $in = fopen("php://stdin", "r");   $results = array();   while ( $line = fgets($in, 4096) )   {     $words = preg_
【机器学习】使用Hadoop Streaming来用Python代码完成MapReduce
小屋
11-27 1127
介绍了，Hadoop Streaming原理 ，map-reduce的重点，最后通过Hadoop Streaming来处理经典的词频统计的问题，并给出了map和reduce阶段的代码。
MapReduce小记和Hadoop Streaming
qq_41864967的博客
12-27 337
MapReduce中两个重要的进程 – JobTracker • 主进程，负责接收客户作业提交，调度任务到作节点上运行，并提供诸如监控工作节点状态及任务进度等 管理功能，一个MapReduce集群有一个jobtracker，一般运行在可靠的硬件上。 • tasktracker是通过周期性的心跳来通知jobtracker其当前的健康状态，每一次心跳包含了可用的map和...
使用Hadoop Streaming 完成MapReduce(Python代码)
摩登都市天空---专栏
12-14 2633
一 Map和Reduce    首先看下MR的工作原理   MapReduce的好处是它可以把在内存中不能完成的事转变成可以在硬盘上高效完成。 Map-­‐Reduce 对于集群的好处： 1，在多节点上冗余地存储数据，以保证数据的持续性和一直可取性 2， 将计算移向数据端，以最大程度减少数据移动 3，简单的程序模型隐藏所有的复杂度 Map，Reduce一般的流程： Map阶段： a， 逐...
python 实现hadoop的mapreduce
gg0124的博客
08-02 1014
为了用python实现mapreduce，我们先引入下面两个个知识 sys.stdin() itertools之groupby sys模块的简单学习 sys.stdin 是一个文件描述符，代表标准输入，不需使用open函数打开，就可以使用 例如下面的简单程序 # coding=utf-8 import sys for line in sys.stdin: print...
Hadoop streaming编写mapper与reducer
Vitamin Blog
07-25 508
mapper： import sys,hashlib,struct,os from urllib import unquote if __name__=="__main__": for line in sys.stdin: line = line.strip() tks = line.split("\t") print tks[0]+'\t
hadoopStreaming---使用Python编写MapReduce
yleave的博客
09-19 540
文章目录hadoop streaming 简介工作原理MR 编写示例执行 MR 脚本本地测试分布式系统上执行关于 hadoop streaming 配置的一些参考学习文章 要使用其他语言编写 MR 任务，首先要了解一下 Hadoop Streaming hadoop streaming 简介   Hadoop streaming 是 Hadoop的一个工具， 它帮助用户创建和运行一类特殊的 map/reduce 作业， 这些特殊的map/reduce 作业是由一些可执行文件或脚本文件充当 mapper 或者
Hadoop streaming mapreduce多文件输入使用方法
Drowning in stream
03-18 8194
写Mapreduce程序时，常常会有同时处理多个输入文件的的需求，那么如何在map程序中方便的知道这一条record到底来自哪个文件呢？如果数据源是可控的，我们尚可以通过字段的个数等来判断，然而这不是一个优雅的方法，其实hadoop已经给了留了解决方法：在map端获取环境变量map_input_file（0.21.x的版本分支中是mapreduce_map_input_file）即为本次的输入文件
基于hadoop streaming进行mapreduce实践
最新发布
05-25
基于Hadoop Streaming进行MapReduce实践需要遵循以下步骤： 1. 编写Mapper和Reducer代码，将其保存为可执行文件或脚本。Mapper和Reducer可以使用任何编程语言，只要它们可以在命令行上运行即可。 2. 在Hadoop集群上启动Hadoop Streaming作业，并指定Mapper和Reducer的可执行文件或脚本路径。 3. 将输入数据上传到HDFS中，并指定输入路径作为Hadoop Streaming作业的输入。 4. 指定输出路径作为Hadoop Streaming作业的输出。 5. 启动Hadoop Streaming作业，并等待作业完成。 下面是一个简单的示例，展示如何使用Hadoop Streaming进行单词计数： 1. 编写Mapper代码，将其保存为Python脚本： ```python #!/usr/bin/env python import sys for line in sys.stdin: line = line.strip() words = line.split() for word in words: print(word + '\t' + '1') ``` 2. 编写Reducer代码，将其保存为Python脚本： ```python #!/usr/bin/env python import sys current_word = None current_count = 0 word = None for line in sys.stdin: line = line.strip() word, count = line.split('\t', 1) count = int(count) if current_word == word: current_count += count else: if current_word: print(current_word + '\t' + str(current_count)) current_count = count current_word = word if current_word == word: print(current_word + '\t' + str(current_count)) ``` 3. 将Mapper和Reducer保存为可执行文件，并上传到HDFS中。 4. 将输入数据上传到HDFS中，例如： ```bash $ hadoop fs -put input.txt /input ``` 5. 启动Hadoop Streaming作业： ```bash $ hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \ -file mapper.py -mapper mapper.py \ -file reducer.py -reducer reducer.py \ -input /input -output /output ``` 在这个命令中，我们指定了Mapper和Reducer的Python脚本路径，以及输入和输出路径。Hadoop Streaming会自动将输入数据分割成小块，并将它们分配给Mapper进行处理。Mapper将每个单词映射到一个计数器，并将其发送到Reducer进行聚合。最终结果被写入到输出路径中。 6. 查看输出结果： ```bash $ hadoop fs -cat /output/* ``` 这将显示单词和它们的计数器，例如： ```text hello 2 world 1 ``` 这就是基于Hadoop Streaming进行MapReduce实践的基本步骤。你可以使用不同的编程语言和算法来解决不同的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值