Python+Hadoop Streaming实现MapReduce（如何给map和reduce的脚本传递参数）

1. 设置参数  
2.   
3. #!/bin/bash  
4.   
5. hadoop fs -rmr trans_record/result  
6.   
7. hadoop jar ./hadoop-streaming-2.0.0-mr1-cdh4.7.0.jar \  
8.         -input $1 \  
9.         -output trans_record/result \  
10.         -file map.py \  
11.         -file reduce.py \  
12.         -mapper "python map.py" \  
13.         -reducer "python reduce.py" \  
14.         -jobconf mapred.reduce.tasks=1 \  
15.         -jobconf mapred.job.name="qianjc_trans_record" \  
16.         -cmdenv "card_start=$2" \  
17.         -cmdenv "card_last=$3" \  
18.         -cmdenv "trans_at=$4"  

1. #!/usr/bin/env python  
2. # vim: set fileencoding=utf-8  
3. import sys  
4. import os  
5.   
6.   
7. def main():  
8.     card_start = os.environ.get('card_start')  
9.     card_last = os.environ.get('card_last')  
10.     trans_at = float(os.environ.get('trans_at'))  
11.   
12.     for line in sys.stdin:  
13.         detail = line.strip().split(',')  
14.         card = detail[0]  
15.         money = float(detail[17])  
16.         if trans_at == money and card_start == card[1 : 7] and card_last == card[-4 : ]:  
17.             print '%s\t%s' % (line.strip(), detail[1])  
18.   
19. if __name__ == '__main__':  
20.     main()