140、Spark核心编程进阶之sample以及公司年会抽奖案例

最新推荐文章于 2021-03-19 19:16:23 发布

ZFH__ZJ

最新推荐文章于 2021-03-19 19:16:23 发布

阅读量1.4k

点赞数

分类专栏： Spark入坑

本文链接：https://blog.csdn.net/ZJ__ZFH/article/details/86622414

版权

Spark入坑专栏收录该内容

207 篇文章 8 订阅

订阅专栏

sample算子,可以使用指定的比例，比如说0.1或者0.9，从RDD中随机抽取10%或者90%的数据,从RDD中随机抽取数据的功能,推荐不要设置第三个参数，feed

public class Sample {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("SampleJava")
                .setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);

        List<String> staffList = Arrays.asList("张三", "李四", "王二", "麻子",
                "赵六", "王五", "李大个", "王大妞", "小明", "小倩");
        JavaRDD<String> staffRDD = sc.parallelize(staffList);

        JavaRDD<String> sample = staffRDD.sample(false, 0.1);

        sample.foreach(new VoidFunction<String>() {
            @Override
            public void call(String s) throws Exception {
                System.out.println("s = " + s);
            }
        });
    }
}