hadoop map中获取文件/切片名称

//import org.apache.hadoop.mapreduce.InputSplit;
//import org.apache.hadoop.mapreduce.lib.input.FileSplit;

 @SuppressWarnings("rawtypes")
    public static String getCityFromFileName(org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException{
        String city="unkown";
        InputSplit inputSplit = context.getInputSplit();
        String fileName=((FileSplit) inputSplit).getPath().getName();
        city=fileName.split("-")[1];
        if(city.equals("dns")||city.equals("3gwap")||city.equals("3gnet")){
            city=fileName.split("-")[2].split("_")[0];
        }
        city=city.split("_")[0];
        return city;
    }

需要注意的是：要通过context.getInputSplit() 获取切片信息，job设置时，一定不要合并小文件。

转载于:https://www.cnblogs.com/yanghaolie/p/7453974.html