English Version: Apache pig, better way to map reduce
使用了Apache Pig将近一年,一直没有写点什么,今天算是一个开始吧。
首先,如果你的数据是MB级的甚至GB级的,那你不会想用使用pig或者map reduce。但是对于大数据,已经超出了单机的计算能力,你不得不考虑如何进行并行计算。这就是map reduce的专长,而pig让map reduce更简单更高效。
第二,pig很方便,很优美,你如果做简单的统计或者数据变化,只需要写几行代码。比如想统计搜索日志里面每个查询串的搜索次数,代码如下:
log = load 'xxx' as (query);
grp = group log by query;
qv = for each grp generate group as query, COUNT(log) as qv;
如果你要使用map reduce,你就需要先复制粘贴几十行例行的代码然后才能开始写真实的逻辑,用java在hadoop上写同样功能的代码附在最后,因为实在是太长了。
第三,像其他脚本语言一样,pig跑代码和测试非常方便,只需要修改代码,然后跑程序。但是如果用java,你需要修改,编译,打包源码成jar,然后才能运行。
第四,当在hadoop上使用java或者streaming时,即使测试代码也需要在真实的集群上运行,但是如果用pig,使用"-x local" 参数可以在本地运行,使用本地文件系统,这不仅仅使测试的更快,而且比使用hdfs更方便检查结果。如果你只是想跑小数据,可以是直接使用这个参数,不使用集群。
第五,使用"-c"进行语法检查使得对pig的编码变得非常悠闲,你不用担心漏写一个字母会让你重新测试一遍。像python那样由于单元测试的不足而没发现的bug不会再存在。
第六,pig有扩展性非常好的API,你可以实现UDF(user defined function)来处理复杂的数据单元处理,比如进行字符串的变换,计算一堆数据的方差,或者以DIY的格式读写数据。更方便的是,java sdk中的函数可以直接应用带pig中而不需要额外的编码。
import xxxx;
...
import xxxx;
public class QueryCount extends Configured implements Tool{
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
@Override
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException{
//map logic
}
}
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable>{
@Override
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException{
//reduce logic
}
}
@Override
public int run(String[] args) throws Exception {
Job job = new Job(getConf());
//some settings on job
boolean success = job.waitForCompletion(true);
return success?0:1;
}
public static void main(String[] args) throws Exception{
int ret = ToolRunner.run(new QueryCount(), args);
System.exit(ret);
}
}