Hadoop调试信息的输出办法

Hadoop

调试是比较麻烦的事情，考虑到只能通过 reduce 输出数据，我们可以把调试信息输出到 reduce 中，然后固定到某个文件中。 <?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

 

 

我们可以把所有的调试数据都是用key=“Debug”，调试信息作为value=“debugInfo”。

 

（1）在map中直接使用

 

output.collect(new Text("debug"), new Text("调试信息"));

 

（2）在reduce中判断

1. if(key.equals("debug"))
3. {
5. while(values.hasNext())
7. {
9. Stringline=values.next().toString();
11. output.collect(newText("debug"),newText(line));
13. }
15. }

(3)

增加类 ReportOutFormat

1. publicstaticclassReportOutFormat<KextendsWritableComparable<?>,VextendsWritable>
2. extendsMultipleOutputFormat<K,V>{
4. privateTextOutputFormat<K,V>theTextOutputFormat=null;
6. @Override
7. protectedRecordWriter<K,V>getBaseRecordWriter(FileSystemfs,
8. JobConfjob,Stringname,Progressablearg3)throwsIOException{
9. if(theTextOutputFormat==null){
10. theTextOutputFormat=newTextOutputFormat<K,V>();
11. }
12. returntheTextOutputFormat.getRecordWriter(fs,job,name,arg3);
13. }
15. @Override
16. protectedStringgenerateFileNameForKeyValue(Kkey,Vvalue,Stringname){
17. if(key.equals("debug"))///注意这个判断
18. return"debug"+name;
19. returnname;
20. }
21. }

（

4 ）在 configJob 里面添加代码

1. protectedvoidconfigJob(JobConfconf)
2. {
3. conf.setMapOutputKeyClass(Text.class);
4. conf.setMapOutputValueClass(Text.class);
5. conf.setOutputKeyClass(Text.class);
6. conf.setOutputValueClass(Text.class);
7. conf.setOutputFormat(ReportOutFormat.class);//增加该行
8. }

这样在输出文件中我们就可以得到调试信息了。这个办法有点曲线救国的意思，不知道有没有其他方便的办法。