最近完成了日志处理框架,由于日志也是文本,不需要自定义读取接口(图像需要)。故主要工作就是将日志格式进行解析和对日志要进行什么操作。
在map函数中,调用编写的日志解析接口实现对每一条日志的解析,然后对解析后的日志进行指定的操作。代码如下:
public class Map extends Mapper<Object, Text, Text, IntWritable> {
private IntWritable one = new IntWritable(1);
private Text word = new Text();
@Override
public void map(Object key, Text value, Context context) throws IOException ,InterruptedException {
/*//plan B
LogParser LogP=LogParser.parser(value.toString()); //调用解析接口
word.set(LogParser.Operation(LogP)); //要进行的操作
if (LogP.isValid()) {
context.write(word, one);
}*/
}
}