Hadoop MapReduce 部分代码操作

最新推荐文章于 2024-10-31 16:17:19 发布

kamisamak

最新推荐文章于 2024-10-31 16:17:19 发布

阅读量63

点赞数

文章标签： mapreduce 大数据 hadoop spark zookeeper

本文链接：https://blog.csdn.net/qq_33887096/article/details/114532656

版权

map中获取文件名

//获取数据所属文件名
FileSplit fis = (FileSplit) context.getInputSplit();
String fileName = fis.getPath().getName();
context.write(new Text(fileName), value);

压缩文件snappy Driver中Configuration按以下设置

//设置map使用的压缩算法
conf.set("mapreduce.map.output.compress","true");
conf.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");
//设置reduce使用的压缩算法
conf.set("mapreduce.output.fileoutputformat.compress","true");
conf.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
conf.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");