hadoop streaming python 处理 lzo 文件遇到的问题

1, 代码中需要注意的有：

[python]  view plain  copy

 print ?

1. #!/usr/bin/env python  
2. #coding:utf8  
3. line = line.decode("utf8")  
4. try:  
5. except Exception,ex:  
6.     pass  

这些点都需要注意，否则，一个小问题就会导致任务失败

其中，如果输入数据中有脏数据，python脚本抛异常，但是如果代理里没有处理异常，就会报错，类型下面的

2, 下面两点需要注意

[java]  view plain  copy

 print ?

1. -D stream.map.input.ignoreKey=true \  
2. -inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat \  

表示忽略输入的lzo文件中的行号，避免行号对输入数据的影响

参考自：http://blog.csdn.net/baiyangfu_love/article/details/41247867