使用dumbo开发hadoop streaming程序

最新推荐文章于 2024-09-16 13:28:38 发布

雨落

最新推荐文章于 2024-09-16 13:28:38 发布

阅读量1.3k

点赞数

分类专栏： Python Hadoop 文章标签： hadoop apache 2010 search

Hadoop 同时被 2 个专栏收录

54 篇文章 0 订阅

订阅专栏

Python

14 篇文章 0 订阅

订阅专栏

转自：http://www.cnblogs.com/flying5/archive/2011/09/07/2169574.html

1. dumbo的官网：https://github.com/klbostee/dumbo/

wiki: https://github.com/klbostee/dumbo/wiki

2. 安装配置

　详见wiki:https://github.com/klbostee/dumbo/wiki/Building-and-installing

　解压从网站下载下来的源码到dumbo文件夹，执行如下命令就可以了

 
     wget -O ez_setup.py  http://peak.telecommunity.com/dist/ez_setup.py
 
     python ez_setup.py dumbo

3. 例子程序

　　使用dumbo开发程序来统计apache的访问日志中最多的几个ip地址

apache日志格式如下：

 
     [admin@search011 dumbotest]$ head -n3 access.log
 
0.0.1 - - [02/Nov/2010:10:15:52 +0800] "GET /index/Back/task_updator.php?taskid=22870&sub_taskid=15&runhost=localhost&status=OK HTTP/1.0"200 3 "-" "Wget/1.10.2 (Red Hat modified)"
 
0.0.3 - - [02/Nov/2010:10:15:52 +0800] "GET /index/Back/task_updator.php?taskid=22870&sub_taskid=17&runhost=localhost&status=OK HTTP/1.0"200 3 "-" "Wget/1.10.2 (Red Hat modified)"
 
0.0.1 - - [02/Nov/2010:10:15:53 +0800] "GET /index/Back/task_updator.php?taskid=22870&sub_taskid=9&runhost=localhost&status=OK HTTP/1.0"200 3 "-" "Wget/1.10.2 (Red Hat modified)"

　　ipcount.py程序如下：

 
     #!/bin/env python
 
     # cut -d ' ' -f 1 access.log | sort | uniq -c | sort -nr | head -n 5
 
     def mapper(key, value):
 
         yield value.split(" ")[0], 1
 
     def reducer(key, values):
 
         yield key, sum(values)
 
     if __name__ == "__main__":
 
         import dumbo
 
         dumbo.run(mapper, reducer, combiner=reducer)

　　运行：

 
     cut -d ' ' -f 1 access.log | sort | uniq -c | sort -nr | head -n 5

　　可以看到在本机上执行的结果。

　　在hadoop上运行：

 
    view source 
    print 
    ? 
   

 
     dumbo start ipcount.py -hadoop /home/admin/hadoop -libjar 
  
         
         / 
         home 
         / 
         admin 
         / 
         hadoop 
         / 
         contrib 
         / 
         streaming 
         / 
         hadoop 
         - 
         streaming 
         - 
         0.20 
         . 
         2 
         - 
         CDH3B4.jar 
   
         - 
         input 
         / 
         admin 
         / 
         input  
         - 
         output  
         / 
         admin 
         / 
         output 
         
 
   