hadoop-python：计算平均值分布式程序编写

最新推荐文章于 2024-09-19 08:40:39 发布

pat_datamine

最新推荐文章于 2024-09-19 08:40:39 发布

阅读量945

点赞数

分类专栏： MapReduce编程(python)

本文链接：https://blog.csdn.net/pat_datamine/article/details/42881669

版权

程序：

mapper.py

import sys  
for line in sys.stdin:  
    line = line.strip()  
    words = line.split()  
    print '%s\t%s' % (words[0],words[1])

reducer.py

import sys  
count=0
i=0
sum=0
for line in sys.stdin:  
    line = line.strip() 
    name,score = line.split('\t', 1)
    if i==0:	
       current_name=name
       i=1	   
    try:  
       score = int(score)  
    except ValueError:   
        continue  
    if current_name == name:  
       count += 1
       sum +=score		
    else:  
       print '%s\t%s' % (current_name,sum/count)
       current_name=name
       sum=score
       count=1 
print '%s\t%s' % (current_name,sum/count)

运行过程：