Spark处理hdfs文件时获取文件名

背景

使用sparkContext.textFile(path)处理hdfs上的文件,path配置的是*通配符。

返回的RDD是封装了文件每行数据内容的RDD,不包含文件的路径信息,业务中需要根据文件的路径信息填充字段,原生的textFile方法不能满足需求。

解决

调用spark提供的hadoopFile方法生成HadoopRDD,然后从RDD的分片信息上获取文件路径信息,将路径信息和文件行内容组装成tuple,供后续处理。

实现

我是使用Java Spark实现的,Scala也同理

package com.upupfeng.util;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileSplit;
import org.apache.hadoop.mapred.TextInputFormat;
import org.apache.spark.api.java.JavaHadoopRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.util.Iterator;

/**
 * @author mawf
 */
public class SparkUtil {

    public static JavaRDD<Tuple2<String, String>> textFile(JavaSparkContext jsc,
                                                           String path) {
        JavaHadoopRDD<LongWritable, Text> hadoopRDD
                = (JavaHadoopRDD<LongWritable, Text>) jsc.hadoopFile(path, TextInputFormat.class, LongWritable.class, Text.class);

        JavaRDD<Tuple2<String, String>> tuple2JavaRDD = hadoopRDD.mapPartitionsWithInputSplit((inputSplit, iterator) -> {
            // 将inputSplit转为FileSplit
            FileSplit fileSplit = (FileSplit) inputSplit;
            // 获取文件的全路径
            String filePath = fileSplit.getPath().toString();

            Iterator newIterator = new Iterator<Tuple2<String, String>>() {
                @Override
                public boolean hasNext() {
                    return iterator.hasNext();
                }

                @Override
                public Tuple2<String, String> next() {
                    // 返回文件路径和行内容组成的tuple2
                    return Tuple2.apply(filePath, iterator.next()._2.toString());
                }
            };
            return newIterator;
        }, false);

        return tuple2JavaRDD;
    }

}


  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值