Spark算子[15]:sample、takeSample 源码实例详解

sample

返回一个RDD[T]

源码:

/**
 * 返回此RDD的抽样子集。
 * @note 这并不能保证提供的只是给定[[RDD]]的分数。
 */
def sample(
    withReplacement: Boolean,
    fraction: Double,
    seed: Long = Utils.random.nextLong): RDD[T] = {
  require(fraction >= 0,
    s"Fraction must be nonnegative, but got ${fraction}")

  withScope {
    require(fraction >= 0.0, "Negative fraction value: " + fraction)
    if (withReplacement) {
      new PartitionwiseSampledRDD[T, T](this, new PoissonSampler[T](fraction), true, seed)
    } else {
      new PartitionwiseSampledRDD[T, T](this, new BernoulliSampler[T](fraction), true, seed)
    }
  }
}

参数:

1、withReplacement:元素可以多次抽样(在抽样时替换)

2、fraction:期望样本的大小作为RDD大小的一部分,
当withReplacement=false时:选择每个元素的概率;分数一定是[0,1] ;
当withReplacement=true时:选择每个元素的期望次数; 分数必须大于等于0。

3、seed:随机数生成器的种子

案例:

建议第三个参数seed可以默认,不好把控。

(1)元素不可以多次抽样:withReplacement=false,每个元素被抽取到的概率为0.5:fraction=0.5

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6,2,8,4));
JavaRDD<Integer> res = rdd.sample(false, 0.5);
res.foreach(x -> System.out.print(x +" "));

//结果:2 8 4 

(2)元素可以多次抽样:withReplacement=true,每个元素被抽取到的期望次数为2:fraction=2

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6,2,8,4));
JavaRDD<Integer> res = rdd.sample(true, 2);
res.foreach(x -> System.out.print(x +" "));

//结果:6 2 8 8 8 8 8 4

takeSample

返回一个Array[T];
该方法仅在预期结果数组很小的情况下使用,因为所有数据都被加载到driver的内存中。

源码:

def takeSample(
    withReplacement: Boolean,
    num: Int,
    seed: Long = Utils.random.nextLong): Array[T] = withScope {...}

参数:

1、withReplacement:元素可以多次抽样(在抽样时替换)

2、num:返回的样本的大小

3、seed:随机数生成器的种子

案例:

建议第三个参数seed可以默认,不好把控。

(1)当不可以多次抽样:withReplacement=false;样本个数num大于父本个数时,只能返回父本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));
List<Integer> res = rdd.takeSample(false, 8);
System.out.println(res);

//结果:[6, 8, 2, 4]

(2)当不可以多次抽样:withReplacement=false;样本个数num小于父本个数时,返回样本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));
List<Integer> res = rdd.takeSample(false, 3);
System.out.println(res);

//结果:[8, 4, 2]

(3)当可以多次抽样:withReplacement=true;样本个数num大于父本个数时,返回样本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));
List<Integer> res = rdd.takeSample(true, 8);
System.out.println(res);

//结果:[4, 6, 8, 2, 6, 2, 4, 2]

(4)当不可以多次抽样:withReplacement=true;样本个数num小于父本个数时,返回样本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));
List<Integer> res = rdd.takeSample(true, 3);
System.out.println(res);

//结果:[8, 8, 2]
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值