1. MapReduce 与 HDFS 简介
什么是 Hadoop ?
Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System,并发布了相关论文(可在 Google Research 的网站上获得:GFS、MapReduce)。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文进行了自己的实现,即同名的 MapReduce 和 HDFS,合起来就是 Hadoop。
MapReduce 的 Data Flow 如下图所示,原始数据经过 mapper 处理,再进行 partition 和 sort,到达 reducer,输出最后结果。
2. Hadoop Streaming 原理
Hadoop 本身是用 Java 开发的,程序也需要用 Java 编写,但是通过 Hadoop Streaming,我们可以使用任意语言来编写程序,让 Hadoop 运行。
Hadoop Streaming 就是通过将其他语言编写的 mapper 和 reducer 通过参数传给一个事先写好的 Java 程序(Hadoop 自带的 *-streaming.jar),这个 Java 程序会负责创建 MR 作业,另开一个进程来运行 mapper,将得到的输入通过 stdin 传给它,再将 mapper 处理后输出到 stdout 的数据交给 Hadoop,经过 partition 和 sort 之后,再另开进程运行 reducer,同样通过 stdin/stdout 得到最终结果。因此,我们只需要在其他语言编写的程序中,通过 stdin 接收数据,再将处理过的数据输出到 stdout,Hadoop Streaming 就能通过这个 Java 的 wrapper 帮我们解决中间繁琐的步骤,运行分布式程序。
原理上只要是能够处理 stdio 的语言都能用来写 mapper 和 reducer,也可以指定 mapper 或 reducer 为 Linux 下的程序(如 awk、grep、cat)或者按照一定格式写好的 java class。因此,mapper 和 reducer 也不必是同一类的程序。
1. Hadoop Streaming 的优缺点
优点:
1. 可以使用自己喜欢的语言来编写 MapReduce 程序(不必非得使用 Java)
2. 不需要像写 Java 的 MR 程序那样 import 一大堆裤,在代码里做很多配置,很多东西都抽象到了 stdio 上,代码量显著减少。
3. 因为没有库的依赖,调试方便,并且可以脱离 Hadoop 先在本地用管道模拟调试。
缺点:
1. 只能通过命令行参数来控制 MapReduce 框架,不像 Java 的程序那样可以在代码里使用 API,控制力比较弱。
2. 因为中间隔着一层处理,效率会比较慢。
3. 所以 Hadoop Streaming 比较适合做一些简单的任务,比如用 Python 写只有一两百行的脚本。如果项目比较复杂,或者需要进行比较细致的优化,使用 Streaming 就容易出现一些束手束脚的地方。
2. 用 Python 编写简单的 Hadoop Streaming 程序
使用 Python 编写 Hadoop Streaming 程序有几点需要注意:
1. 在能使用 iterator 的情况下,尽量使用 iterator,避免将 stdin 的输入大量储存在内存里,否则会严重降低性能。
2. Streaming 不会帮你分割 key 和 value 传进来,传进来的只是一个个字符串而已,需要你自己在代码里手动调用 split()。
3. 从 stdin 得到的每一行数据末尾似乎会有 '\n' ,保险起见一般都需要用 rstrip() 来去掉。
4. 在想获得 key-value list 而不是一个个处理 key-value pair 时,可以使用 groupby 配合 itemgetter 将 key 相同的 key-value pair 组成一个个 group,得到类似 Java 编写的 reduce 可以直接获取一个 Text 类型的 key 和一个 iterable 作为 value 的效果。注意 itemgetter 的效率比 lambda 表达式的效率要高,所以用 itemgetter 比较好。
编写 Hadoop Streaming 程序的基本模版:
#!/usr/bin/env python#-*- coding: utf-8 -*-
"""Some description here..."""
importsysfrom operator importitemgetterfrom itertools importgroupbydefread_input(file):"""Read input and split."""
for line infile:yield line.rstrip().split('\t')defmain():
data=read_input(sys.stdin)for key, kviter ingroupby(data, itemgetter(0)):#some code here..
if __name__ == "__main__":
main()
如果对输入输出格式有不同于默认的控制,主要会在 read_input() 里调整。
3. 本地调试
本地调试用于 Hadoop Streaming 的 Python 程序的基本模式是:
$ cat | python | sort -t $'\t' -k1,1 | python >
这里有几点需要注意:
1. Hadoop 默认按照 tab 来分割 key 和 value,以第一个分割出的部分为 key,按 key 进行排序,因此这里使用 sort -t $'\t' -k1,1 来模拟。如果有其他需求,在交给 Hadoop Streaming 执行时可以通过命令行参数设置,本地调试也可以进行相应的调整,主要是调整 sort 的参数。
2. 如果在 Python 脚本里加上了 shebang,并且为它们添加了执行权限,也可以用类似于 ./mapper.py (会根据 shebang 自动调用指定的解释器来执行文件)来代替 python mapper.py。
4. 在集群上运行与监控
1. 察看文档
首先需要知道用于 Streaming 的 Java 程序在哪里。在 1.0.x 的版本中,应该都在 $HADOOP_HOME/contrib/streaming/ 下:
$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar
通过执行 Hadoop 命令
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar -info
就会看到一系列 Streaming 自带的帮助,带有各种参数的说明和使用样例。
5. 运行命令
用 Hadoop Streaming 执行 Python 程序的一般步骤是:
1. 将输入文件放到 HDFS 上,建议使用 copyFromLocal 而不是 put 命令。参见Difference between hadoop fs -put and hadoop fs -copyFromLocal
1. 一般可以新建一个文件夹用于存放输入文件,假设叫 input
$ hadoop fs -mkdir input
然后用
$ hadoop fs -ls
查看目录,可以看到出现了一个 /user/hadoop/input 文件夹。/user/hadoop 是默认的用户文件夹,相当于本地文件系统中的 /home/hadoop。
2. 再使用
$ hadoop fs -copyFromLocal input/
将本地文件放到 input 文件夹下。
2. 开始 MapReduce 作业,假设你现在正在放有 mapper 和 reducer 两个脚本的目录下,而且它们刚好就叫 mapper.py 和 reducer.py,在不需要做其他配置的情况下,执行
$ hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \-mapper mapper.py \-filemapper.py \-reducer reducer.py \-filereducer.py \-input input/*\
-output output
第一行是告诉 Hadoop 运行 Streaming 的 Java 程序,接下来的是参数:
这里的 mapper.py 和 reducer.py 是 mapper 所对应 python 程序的路径。为了让 Hadoop 将程序分发给其他机器,需要再加一个 -file 参数用于指明要分发的程序放在哪里。
注意这样写的前提是这个 Python 程序里有 Shebang 而且添加了执行权限。如果没有的话可以改成
-mapper 'python mapper.py'
加上解释器命令,用引号扩住(注意在参数中传入解释器命令,不再是用`符扩住,而是'符)。准确来说,mapper 后面跟的骑士应该是一个命令而不是文件名。
假如你执行的程序不放在当前目录下,比如说在当前目录的 src 文件夹下,可以这样写
-mapper 'python mapper.py' -file src/mapper.py \-reducer 'python reducer.py' -file src/reducer.py \
也就是说,-mapper 和 -reducer 后面跟的文件名不需要带上路径,而 -file 后的参数需要。注意如果你在 mapper 后的命令用了引号,加上路径名反而会报错说找不到这个程序。(因为 -file 选项会将对应的本地参数文件上传至 Hadoop Streaming 的工作路径下,所以再执行 -mapper 对应的参数命令能直接找到对应的文件。
-input 和 -output 后面跟的是 HDFS 上的路径名,这里的 input/* 指的是"input 文件夹下的所有文件",注意 -output 后面跟着的需要是一个不存在于 HDFS 上的路径,在产生输出的时候 Hadoop 会帮你创建这个文件夹,如果已经存在的话就会产生冲突。(因此每次执行 Hadoop Streaming 前可以通过脚本命令 hadoop fs -rmr 清除输出路径)。
有时候 Shebang 不一定能用,尤其是在执行环境比较复杂的时候,最保险的做法是:
$ hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \-mapper 'python mapper.py' -filemapper.py \-reducer 'python reducer.py' -filereducer.py \-input input/*-output output
这样写还有一个好处,就是可以在引号里写上提供给 python 程序的命令行参数,甚至做目录的变更以及环境变量的初始化等一系列 shell 命令。
由于 mapper 和 reducer 参数跟的实际上是命令,所以如果每台机器上 python 的环境配置不一样的话,会用每台机器自己的配置去执行 python 程序。
6. 得到结果
成功执行完这个任务之后,使用 output 参数在 HDFS 上指定的输出文件夹里就会多出几个文件:一个空白文件 _SUCCESS,表面 job 运行成功,这个文件可以让其他程序只要查看一下 HDFS 就能判断这次 job 是否运行成功,从而进行相关处理。
一个 _logs 文件夹,装着任务日志。
part-00000,.....,part-xxxxx 文件,有多少个 reducer 后面的数字就会有多大,对应每个 reducer 的输出结果。
假如你的输出很少,比如是一个只有几行的计数,你可以用
$ hadoop fs -cat
直接将输出打印到终端查看。
假如你的输出很多,则需要拷贝到本地文件系统来查看。可以使用 copyToLocal 来获取整个文件夹。如果你不需要 _SUCCESS 和 _logs,并且想要将所有 reducer 的输出合并,可以使用 getmerge 命令。
$ hadoop fs -getmerge output ./
上述命令将 output 下的 part-xxxxx 合并,放到当前目录的一个叫 output 的文件里。
7. 如何串联多趟 MapReduce
如果有多次任务要执行,下一步需要用上一步的任务做输入,解决办法很简单。假设上一步在 HDFS 的输出文件夹是 output1,那么在下一步的运行命令中,指明
-input output1/part-*
即指定上一次的所有输出为本次任务的输入即可。
8. 使用额外的文件
假如 MapReduce 的 job 除了输入以外还需要一些额外的文件,有两种选择:
1. 大文件
所谓的大文件就是大小大于设置的 local.cache.size 的文件,默认是10GB。这个时候可以用 -file 来分发。除此之外代码本身也可以用 file 来分发。
格式:假如我要加多一个 sideData.txt 给 python 脚本使用:
$ hadoop jar $HADOOP_HOME/hadoop-streaming.jar \-input inputDir \-output outputDir \-mapper mapper.py \-filemapper.py \-reducer reducer.py \-filereducer.py \-file sideData.txt
这样 -file 选项的参数文件都会被上传至 MapReduce 的工作目录下,所以 mapper 和 reducer 代码都可以通过文件名直接访问到文件。在 python 脚本中,只要把这个文件当成自己同一目录下的本地文件来打开就可以了。比如:
f = open('sideData.txt')
注意这个 file 是只读的,不可以写。
2. 小文件
如果是比较小的文件,想要提高读写速度可以将它放在 distributed cache 里(也就是每台机器都有自己的一份 copy,不需要网络 IO 就可以拿到数据)。这里要用到的参数是 -cachefile,写法和用法与上一个一样,就是将 -file 改成 -cachefile 而已。
3. 如果上传目录或者多个目录时使用 -files 选项
-files dir1,dir2 #多个目录用','隔开,且不能有空格
上传目录后,可以直接访问当前目录
4. 上传 HDFS 上的文件或者目录
只能 -files 命令上传 HDFS 路径下的文件或目录,然后就可以像访问本地文件一样访问 HDFS 文件。
比如:
hdfs_file="hdfs://webboss-10-166-133-95:9100/user/hive/conf/part-00000"input=/user/hive/input/*output=/user/hive/output
mapper_script=mapper.py
reducer_script=reducer.py
map_file=./mapper.py
reduce_file=./reducer.py
hadoop fs -rmr $output
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-0.20.2-streaming.jar \
-D mapred.reduce.tasks=0 \
-files $hdfs_file \
-input $input \
-output $output \
-mapper $mapper_script \
-file $map_file \
-reducer $reducer_script \
-file $reduce_file
9. 控制 partitioner
partitioning 指的是数据经过 mapper 处理后,被分发到 reducer 上的过程。partitioner 控制的,就是“怎样的 mapper 输出会被分发到哪一个 reducer 上”。
Hadoop 有几个自带的 partitoner,解释可以看这里。默认的是 HashPartitioner,也就是把第一个 '\t' 前的 key 做 hash 之后用于分配 partition。写 Hadoop Streaming 程序是可以选择其他 partitioner 的,你可以选择自带的其他几种里的一种,也可以自己写一个继承 Partitioner 的 java 类然后编译成 jar,在运行参数里指定为你用的 partitioner。
官方自带的 partionner 里最常用的是 KeyFieldBasedPartitioner。它会按照 key 的一部分来做 partition,而不是用整个 key 来做 partition。
在学会用 KeyFieldBasedPartitioner 之前,必然要先学怎么控制 key-value 的分割。分割 key 的步骤可以分成两步,用 python 来描述一下大约是
fields =output.split(separator)
key= fields[:numKeyfields]
1. 选择用什么符号来分割 key,也就是选择 separator
map.output.key.field.separator 可以指定用于分割 key 的符号。比如指定为一点的话,就要加上参数。
-D stream.map.output.field.separator=.
假设你的 mapper 输出是
11.22.33.44
这时会用 '.' 进行分割,看准 [11, 22, 33, 44] 这里的其中一个或几个作为 key。
2. 选择 key 的范围,也就是选择 numKeyfields
控制 key 的范围的参数是这个,假设要设置被分割出的前 2 个元素为 key:
-D stream.num.map.output.key.fields=2
那么 key 就是上面的 1122。值得注意的是假如这个数字设置到覆盖整个输出,在这个例子里是4的话,那么整一行都会变成 key。
上面分割出 key 之后,KeyFieldBasedPartitioner 还需要知道你想要用 key 里的哪部分作为 partition 的依据。它进行配置的过程可以看源代码来理解。
假设在上一步我们通过使用
-D stream.map.output.field.separator=. \-D stream.num.map.output.key.fields=4
将 11.22.33.44 的整个字符串都设置成了 key,下一步就是在这个 key 的内部再进行一次分割。map.output.key.field.separator 可以用来设置第二次分割用的分割符,mapred.text.key.partitioner.options 可以接受参数来划分被分割出来的 partition key,比如:
-D map.output.key.field.separator=. \-D mapred.text.key.partitioner.options=-k1,2
指的就是在 key 的内部里,将第1到第2个被点分割的元素作为 partition key,这个例子里也就是 1122。这里的值 -ki,j 表示从 i 到 j 个元素(inclusive)会作为 partition key。如果终点省略不写,像 -ki 的话,那么 i 和 i 之后的元素都会作为 partition key。
partition key 相同的输出会保证分到同一个 reducer 上,也就是所有 11.22.xx.xx 的输出都会到同一个 partitioner,11.22 换成其他各种组合也是一样。
实例说明一下,就是这样的:
1. mapper 的输出是
11.12.1.2
11.14.2.3
11.11.4.1
11.12.1.1
11.14.2.2
2. 指定前 4 个元素做 key,key 里的前两个元素做 partition key,分成 3 个 partition 的话,就会被分成
11.11.4.1
-----------
11.12.1.2
11.12.1.1
-----------
11.14.2.3
11.14.2.2
3. 下一步 reducer 会对自己得到的每个 partition 内进行排序,结果就是
11.11.4.1
-----------
11.12.1.1
11.12.1.2
-----------
11.14.2.2
11.14.2.3
Streaming 命令格式如下:
$ hadoop jar $HADOOP_HOME/hadoop-streaming.jar \-D stream.map.output.field.separator=. \-D stream.num.map.output.key.fields=4\-D map.output.key.field.separator=4\-D mapred.text.key.partitioner.options=-k1,2\-input inputDir \-output outputDir \-mapper mapper.py -file mapper.py \-reducer reducer.py -file reducer.py \-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner
注意:
Hadoop 执行命令时的选项是有顺序的,顺序是 bin/hadoop command [genericOptions] [commandOptions].
对于 Streaming,-D 属于 genericOptions,即 hadoop 的通用选项,所以必须写在前面。
Streaming 的所有选项可参考:
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-0.20.2-streaming.jar -info
3. 控制 comparator 与自定义排序
上面说到 mapper 的输出被 partition 到各个 reducer 之后,会有一步排序。这个排序的标准也是可以通过设置 comparator 控制的。和上面一样,要先设置分割出 key 用的分割符、key 的范围,key 内部分隔用的分割符
-D stream.map.output.field.separator=. \-D stream.num.map.output.key.fields=4\-D map.output.key.field.separator=.
这里要控制的就是 key 内部的哪些元素用来做排序依据,是排字典序还是数字序,倒叙还是正序。用来控制的参数是 mapred.text.key.comparator.options,接受的值格式类似于 unix sort。比如我要按第二个元素的数字序(默认字典序)+倒序来排元素的话,就用 -D mapred.text.key.comparator.options=-k2,2nr
n表示数字序,r表示倒序。这样一来
11.12.1.2
11.14.2.3
11.11.4.1
11.12.1.1
11.14.2.2
就会被排成
11.14.2.3
11.14.2.2
11.12.1.2
11.12.1.1
11.11.4.1