分层抽样

最新推荐文章于 2024-08-17 22:58:11 发布

kimiYangfly

最新推荐文章于 2024-08-17 22:58:11 发布

阅读量1.9k

点赞数

分类专栏： matplotlib

本文链接：https://blog.csdn.net/ykm18811712927/article/details/70255165

版权

matplotlib 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

1.sampleByKey

import org.apache.spark.{SparkConf, SparkContext}
object testVector {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local")
    .setAppName("testVector");
    val sc = new SparkContext(conf);
    var data = sc.textFile("kimi.txt")
    .map(row => {
      if(row.length == 3) //判定字符数
        (row,1)    //建立对应Map
      else (row,2)
    })
    val fractions: Map[String,Double] = Map("aa" -> 2);//设定抽样格式
    val approxSample = data.sampleByKey(withReplacement = false,fractions,0);//计算抽样样本
    approxSample.foreach(println);
  }
}