mapreduce的过程介绍
注意:下面的内容中RM=ResourceManager ,NM=NodeManager
step 1: client -> RM
这是提交job的流程,client端先向RM申请一个ApplicationId,RM进行内部处理包括资源分配,优先级设定之类的准备工作.
等到ApplicationId后,client端提交程序到RM执行。 这个提交过程会指明localfile,jars ,输入,输出,环境变量等参数,
实际上跟命令行bin/hadoop jar执行的东西一样.RM接收到提交后,根据资源(CPU,内存,硬盘,网络 ) 来进行调度.
RM的调度流程是:RM不断接收NM的资源使用报告,使用调度算法,来分配container给应用程序使用。
step 2:RM -> ApplicationMaster
RM会启动一个container来作为Applicationmaster。这个Applicationmaster包含了client提交过来的所有参数。client可以通过RM来获取application的状态信息.ApplicationMaster虽然叫master但是它不在RM端,跟其它container一样分布在各个slave,与之相对的是mapreduce1中的JobTracker,JobTracker单点部署,是所有Map-reduce业务的集中处理点,瓶颈很明显。
ApplicationMaster 的职责有:向RM请求的资源容器,运行任务,跟踪应用程序的状态和监控它们的进程,处理任务的失败原因。
step 3:ApplicationMaster -> NM
ApplicationMaster会传递必要的上下文参数到NM来为任务启动一个container,Container执行具体的mapreduce业务,向ApplicationMaster报告执行情况。
NM负责维护该Container状态,并向RM提交健康报告,资源使用情况
整个过程围绕ContainerManager类来进行。
step 4:任务结束
成功或者失败,ApplicationMaster通知RM任务结束,进行资源回收等工作。
编写自己的mapreduce
mapreduce计算模型介绍
MapReduce首先对输入的文件按行处理,此时的处理函数称为map,参数的格式为(null,value1)。
Map函数输出格式为list(key2,value2)的结果作为Reduce函数的输入,并且相同 key2 的记录汇聚到同一 reduce,最终产生list(value3) 的输出结果。
简单表示如下:
Map: (null,value1) ->list(key2,value2)
Reduce:(key2,list(value2)) ->list(value3)
如果有combiner的话,每一个Map函数输出到reduce之前,还会被combiner一次,相同 key2 的记录会被combine起来再输出到reduce步骤, combiner步骤能够减少数据传输量。
每个reduce产生一个输出文件,这是因为hdfs不支持并发写。
选一个框架编写自己的mapreduce
这里我选择的是运行比较慢的python语言的mrjob框架。虽然用原生的java是效率最高的,
但是python在科学计算,人工智能,生物工程方面有着大量的现成模块。在大数据处理领域,潜力无限。
同时mrjob对AWS支持得非常好,又有Yelp的强力支持目前也是发展的最快的python mr框架.
mrjob的详细文档网址: https://github.com/Yelp/mrjob/blob/master/docs/
1, 安装mrjob
最简单的方法:
pip install mrjob
mrjob依赖的模块是:pyyaml,boto-develop
使用前配置环境变量 HADOOP_HOME=你的hadoop位置
一个map-reduce类继承自MRJob类,通过重写mapper,combiner,reducer迭代函数和OUTPUT_PROTOCOL属性等来实现自己的业务。
假设hdfs上有输入文件/1内容如下:
sdafsfd 1984 4
sdafsfd 1984 4
sdafsfd 1987 4
sdafsfd 1984 4
sdafsfd 1985 4
mrjob有2种模式的job,先看第一种:One-step jobs
创建文件mrsample_onestep.py 内容如下:
#! /usr/bin/env python import os import re from mrjob.job import MRJob from mrjob.protocol import RawProtocol, ReprProtocol class MRSample(MRJob): # 设置序列化的方式,mrjob的运行时间很大部分花在序列化/反序列化上,这是很重要的优化方式 OUTPUT_PROTOCOL = RawProtocol #text # mapper函数之前的初始化操作,可以为mapper函数提供一些辅助变量 def mapper_init(self): pass # key 在这里是none line就是输入文件的一行数据 def mapper(self, key, line): data = line.split('\t') # 分割后数据量小于3个 则不处理直接return if len(data) < 3: return # 根据数据结构提取数据 info = data[0] year = data[1] count = int(data[2]) k = [info,year] #传输的时候都会序列化,所以k可以是任意可序列化的对象 yield (k, count) # def combiner(self, key, counts): # the combiner must be separate from the reducer because the input # and output must both be JSON yield (key, sum(counts)) def reducer(self, key, counts): # 迭代输出结果 yield "%s\t%s" % str(key), str(sum(counts)) if __name__ == '__main__': # 命令行的下调用类方法run()来运行 MRSample.run()
mrjob提供了几种代码运行的方式,
1)在emr上运行 -r emr
2)在本地模拟hadoop的运行 -r local
3)在hadoop集群上运行 -r hadoop
运行
./mrsample_onestep.py -r hadoop /1 /result
将会把结果输出到/result
mrjob还提供了定义multi-step jobs的功能,覆盖steps()函数即可完成,steps()函数返回一个数组的长度
表示了整个mr过程将会有几个步骤。
下面代码展示这一过程:
class MRSteps(MRJob): """额外的step检查结果是奇数还是偶数""" def get_words(self, _, line): for word in line.split(): yield word.lower(), 1 def sum_words(self, word, counts): yield word, sum(counts) def mod_counts(self, word, counts): yield word, counts%2 def steps(self): return [self.mr(mapper=self.get_words, combiner=self.sum_words, reducer=self.sum_words), self.mr(mapper=self.mod_counts)] if __name__ == '__main__': # 命令行的下调用类方法run()来运行 MRSteps.run()