spark transform系列__sample

最新推荐文章于 2022-03-30 12:42:25 发布
VIP文章 最新推荐文章于 2022-03-30 12:42:25 发布
阅读量5.1k 收藏 1
点赞数 1
文章标签： 源代码 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014393917/article/details/50602300
版权

Sample是对rdd中的数据集进行采样,并生成一个新的RDD,这个新的RDD只有原来RDD的部分数据,这个保留的数据集大小由fraction来进行控制,这个分析中,不分析sample的两个算法的具体实现,如果后期有必要时,可以分析这两个算法的具体的实现.

首先,先看看sample的实现代码:

def sample(
    withReplacement: Boolean,
    fraction: Double,
    seed: Long = Utils.random.nextLong): RDD[T] = withScope {
  require(fraction >= 0.0, "Negat

最低0.47元/天 解锁文章
隔壁老杨hongs
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pyspark入门教程
尬聊码农
05-06 5402
目录 一、windows下配置pyspark环境 1.1 jdk下载安装 1.2 Scala下载安装 1.3 spark下载安装 1.4 Hadoop下载安装 1.5 pyspark下载安装 1.6 anaconda下载安装 1.7 测试环境是否搭建成功 二、pysp...
RDD.scala（源码）
weixin_34284188的博客
09-27 163
  ---- map、 --- flatMap、fliter、distinct、repartition、coalesce、sample、randomSplit、randomSampleWithRange、takeSample、union、++、sortBy、intersection     map源码 /** * Return a new RDD by applying a fun...
Spark源码-sample计算流程分析
things_use的博客
04-21 808
1.参数说明 Sample构造函数有三个参数，每个参数的含义如下： withReplacement：元素可以多次抽样(在抽样时替换) fraction：期望样本的大小作为RDD大小的一部分， 当withReplacement=false时：选择每个元素的概率;分数一定是[0,1] ； 当 withReplacement=true时：选择每个元素的期望次数; 分数...
R语言自学笔记-----数据转换
qq_59022967的博客
01-20 2908
今天还是数据转换的相关操作学习
pyspark takesample()
Sue_Liang的博客
08-01 5694
从源码中可以看出，takeSample函数类似于sample函数，该函数接受三个参数，第一个参数withReplacement ，表示采样是否放回，true表示有放回的采样，false表示无放回采样；第二个参数num，表示返回的采样数据的个数，这个也是takeSample函数和sample函数的区别；第三个参数seed，表示用于指定的随机数生成器种子。另外，takeSample函数先是计算fract
PySpark RDD 之 takeSample
Gscsd的博客
12-23 1790
1. pyspark 版本 2.3.0版本 2. 官网 takeSample(withReplacement,num,seed=None)[source]¶ Return a fixed-size sampled subset of this RDD. 中文：返回此RDD的固定大小的采样子集。 Note This method should only be ...
spark-launcher_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-launcher_2.11-2.1.3-SNAPSHOT.jar
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
spark-streaming_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-streaming_2.11-2.1.3-SNAPSHOT.jar
spark-core_2.12-3.0.0.jar
03-19
比maven仓库下载快很多
spark-tags_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-tags_2.11-2.1.3-SNAPSHOT.jar
sample_spark3:如何使用findspark和pyspark使用spark3
03-30
sample_spark3 如何使用findspark和pyspark使用spark3
python编程中，各种随机种子seed设置总结
丨汀、的博客
03-30 5938
python随机种子seed的作用（强化学习常用到）_汀、的博客-CSDN博客先上代码import mathimport gymfrom gym import spaces, loggerfrom gym.utils import seedingimport numpy as npclass CartPoleEnv(gym.Env): def __init__(self): super().__init__() self.seed() def seed(self, seed=None): #sehttp..
PySpark学习 | 常用的 68 个函数 | 解释 + python代码
十三
03-26 6903
博文函数顺序以及代码部分参考Spark Python API函数学习：pyspark API系列，并在此基础上结合PySpark官方文档以及参考各位博主的优秀文章对各个函数进行了解释。代码全部手撸过，可以运行。 实验环境可以按照在windows上面安装并用jupyter运行pyspark进行配置： python 3 Hadoop 2.7 PySpark 2.2.3 Windows 10 打开cmd...
pyspark报错 TypeError: sample() got an unexpected keyword argument ‘n‘
shengqi的博客
11-03 2779
使用pyspark连接数据库获取相应符合条件的数据，然后随机抽样。 import pandas as pd df1 = spark.sql(''' SELECT spe_id,item_num,item_bare_price,0 as label FROM rm_erp_purchase_in_stock_item_source where group_id in (1001) and order_in_stock_time b
pytorch入门08--数据集转换 transform
qq_36143103的博客
04-05 1285
#数据集转换 transform import torch import torchvision from torch.utils.data import Dataset import numpy as np class WineDataset(Dataset): def __init__(self, transform=None): xy = np.loadtxt('./wine.csv', delimiter=',', dtype=np.float32, skiprows.
Spark之sample算子
qq_36561105的博客
09-03 5094
在调用spark的sample算子时，对应的方法为： sample(withReplacement : scala.Boolean, fraction : scala.Double，seed scala.Long) sample算子是用来抽样用的，其有3个参数 withReplacement：表示抽出样本后是否在放回去，true表示会放回去，这也就意味着抽出的样本可能有重复 fractio...
sample 算子_Spark中算子合辑
weixin_32120627的博客
01-04 190
Spark中算子简介Transformations算子Transformations类算子是一类算子（函数）叫做转换算子，如map，flatMap，reduceByKey等，是延迟执行，也叫懒加载执行filter，过滤符合条件的记录数，true保留，false过滤掉map，将一个RDD中的每个数据项，通过map函数映射变为一个新的元素。特点：输入一条。输出一条数据flatMap，先map后flat...
spark sample
qq_43192537的博客
11-28 477
spark sample
spark机器学习代码
最新发布
05-19
以下是使用Spark进行机器学习的示例代码： 1. 加载数据 ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder().appName("MLExample").getOrCreate() val data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt") ``` 2. 划分数据集为训练集和测试集 ```scala val Array(trainingData, testData) = data.randomSplit(Array(0.7, 0.3)) ``` 3. 训练一个分类模型 ```scala import org.apache.spark.ml.classification.LogisticRegression val lr = new LogisticRegression().setMaxIter(10).setRegParam(0.3).setElasticNetParam(0.8) val model = lr.fit(trainingData) ``` 4. 对测试集进行预测并计算评估指标 ```scala import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator val predictions = model.transform(testData) val evaluator = new BinaryClassificationEvaluator().setLabelCol("label").setRawPredictionCol("rawPrediction").setMetricName("areaUnderROC") val accuracy = evaluator.evaluate(predictions) println(s"Accuracy = $accuracy") ``` 5. 训练一个聚类模型 ```scala import org.apache.spark.ml.clustering.KMeans val kmeans = new KMeans().setK(2).setSeed(1L) val model = kmeans.fit(data) ``` 6. 对新数据进行预测 ```scala val newdata = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data_new.txt") val predictions = model.transform(newdata) ``` 以上是一些基本的Spark机器学习示例代码，具体的使用方法和参数设置可以根据不同的算法和数据集进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值