scala随机划分及随机采样

于 2024-01-10 14:48:04 发布
阅读量404 收藏 8
点赞数 7
文章标签： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46047782/article/details/135503253
版权

随机划分及随机采样

  • 随机划分
  • 随机采样
  • 重新洗牌

随机划分

df.randomSplit(Array(0.8,0.2),1115)

df.randomSplit(Array(0.8,0.2),1115(0).count

df.randomSplit(Array(0.8,0.2),1115)(0).toDF.show//第一份转成DF，没有(0)不行

df.randomSplit(Array(0.01,0.9,0.09),1115)(0).toDF.count//可以分成多份，不一定是总和为1，最后的划分是array里面各个数的比例。比如Array(6，2，2)会分成0.6，0.2，0.2的三份

随机采样

val seed = 1115val withreplacement = false //是否有放回

val fraction = 0.2 //抽样比例

df.sample(withreplacement,fraction,seed).showdf.sample(withreplacement,fraction,seed).count

df.sample(false,0.001,seed).showdf.sample(false,0.001,seed).select("bat_batch").distinct.show

重新洗牌

df.shuffle
林木木子
关注
  • 7
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【软考】数据结构与算法基础 - 常见的算法设计思想（随机划分算法）
本本本添哥
08-08 100
随机划分算法是一种用于解决一些基于概率的问题的算法。
精选_基于SPARK的分布式随机森林_源码打包
03-09
基于SPARK的分布式随机森林
【归纳总结】随机划分训练集和测试集
坊间小木匠的博客
05-06 5183
文章目录前言一、无序索引方法1. matlab代码2. python代码二、函数实现方法1. 利用python库中的cross_validation.train_test_split方法2. 利用python库中的KFold方法（K折交叉验证方法） 前言 在机器学习中训练模型时，经常需要按比例对数据集随机划分成训练集和测试集，本文总结了基于matlab和python的划分训练集和测试集的常用方法，仅供大家参考。 一、无序索引方法 1. matlab代码 % 确定随机种子，便于结果复现 rand('seed'
【机器学习】训练集、验证集和测试集
weixin_44949563的博客
10-22 995
在有监督(supervise)的机器学习中，数据集常被分成2~3个即： 训练集(train set) 验证集(validation set) 测试集(test set) 一般需要将样本分成独立的三部分训练集(train set)，验证集(validation set)和测试集(test set)。其中训练集用来估计模型，验证集用来确定网络结构或者控制模型复杂程度的参数，而测试集则检验最终选择最优的模型的性能如何。一个典型的划分是训练集占总样本的50％，而其它各占25％，三部分都是从样本中随机抽取。
随机划分训练集、测试集
a_1234567890_的博客
01-29 264
只需要把root_path 的路径修改即可 # -*- coding: utf-8 -*- from __future__ import division, print_function, absolute_import import sys sys.path.append('../../') import shutil import os import random import math def mkdir(path): if not os.path.exists(path): .
随机划分数据集五份_Scikit-Learn数据集划分函数的使用
weixin_31559919的博客
01-15 1682
一、随机划分法分层抽样(StratifiedShuffleSplit)from sklearn.model_selection import StratifiedShuffleSplitStratifiedShuffleSplit(n_splits=10,test_size=None,train_size=None, random_state=None)n_splits：将数据集分成train/...
scala 集合随机采样
ouyang20110913的博客
10-20 1025
scala 集合随机采样 import scala.util.Random // Random.shuffle 不支持直接对 Array 操作 val arr = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) val sampleArr = Random.shuffle(arr.toSeq).take(100).toArray println(arr.mkString("[", ",", "]")) // [1,2,3,4,5,6,7,8,9,10] println(samp
python随机划分数据集
weixin_51443598的博客
03-10 5110
# -*- coding:utf-8 -*- """ 作者：sunli 日期：2022年03月07日20:52 """ # 从总的数据集中（有规律）选取固定大小部分作为训练集验证集测试集的总和。如此处选取总数据集的前10000句作为需要使用的数据集。 # 两次使用train_test_split()将选取的固定大小的数据集，按照一定的比例，如8：1：1随机划分为训练集，验证集，测试集。 # 并分别将划分好的数据集进行写入到固定目录下 from sklearn.model_selection import.
深度学习随机划分数据集
不太冷的莱昂的博客
12-18 3329
CVer肯定都遇到过要划分数据集的问题，我在这里自己写了一个，只要你有一个所有图片的文件夹，然后将路径替换成自己的即可： # 将数据集随机划分为训练集和验证集,测试集 import os import random import shutil from tqdm import tqdm image_path = r'E:\DCI(first)_3\DCI_Crop2\image\\' # 源图片文件夹路径 mask_path = r'E:\DCI(first)_3\DCI_Crop2\mask\\
快速排序||随机划分
whenever5225的博客
05-26 361
#include <cstdio> #include <cstdlib> #include <cmath> #include <ctime> #include <algorithm> using namespace std; const int maxn = 101; int Partition(int a[], int left, in...
Scala基础简介及代码示例
08-29
主要介绍了Scala基础简介及代码示例，小编觉得挺不错的，这里给大家分享下，供需要的朋友参考。
Scala编写及常见异常
03-24
Scala编写及常见异常
随机关系图可用于Graphx学习测试
02-17
资源内容为结点数100到结点数10000的图的边与点信息的txt文件，可用于图的各种计算，可用于生成Spark Graphx中的图
Scala实操教程及演示
12-22
Scala实操教程及演示
#机器学习 随机划分的指标情况
往深度学习的深度广度冲！
01-16 199
目录需求分析需求一、随机划分二、指标结果1.引入库2.读入数据3.结果展示4.雷达图总结 需求分析 做毕设的时候发现需要用到各个评价指标的随机划分时的数值，所以就简单列了两个 y_pred 和 y_true 的列表后，调用sklearn的指标包进行计算。 需求 在做机器学习的多模型对比时，需要对各个模型在同个数据集上的评价指标进行对比，以凸显主打模型的优势，其中，对指标结果进行可视化是最直观的。 在毕业设计中，为了凸显模型的优越性，使用雷达图对模型指标进行评判，由于有些模型的性能较差，为了更好的展示模型效
scikit-learn用train_test_split随机划分数据集和训练集
热门推荐
昆兰.沃斯 的博客
05-11 1万+
train_test_split()函数是用来随机划分样本数据为训练集和测试集的，当然也可以人为的切片划分。优点：随机客观的划分数据，减少人为因素完整模板：train_X,test_X,train_y,test_y = train_test_split(train_data,train_target,test_size=0.3,random_state=5)参数解释：train_data：待划分样...
sklearn：随机划分训练集和测试集
专注计算机体系结构
05-25 1万+
一、sklearn.model_selection.train_test_split 作用： 随机划分训练集和测试集   官网文档： http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html#sklearn.model_selection.train_test
Sklearn 随机划分训练集和测试集
qq_29762941的博客
06-25 3329
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：X_train,X_test, y_train, y_test =cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)参数解释：train_d...
scala 淘宝回头客 随机森林
最新发布
05-28
以下是使用 Scala 实现的随机森林算法示例代码，用于预测淘宝购物者是否会成为回头客： ```scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.mllib.tree.RandomForest import org.apache.spark.mllib.tree.model.RandomForestModel import org.apache.spark.mllib.util.MLUtils object RandomForestDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("RandomForestDemo").setMaster("local") val sc = new SparkContext(conf) // 加载数据 val data = MLUtils.loadLibSVMFile(sc, "data/sample_libsvm_data.txt") // 将数据划分为训练集和测试集 val splits = data.randomSplit(Array(0.7, 0.3)) val (trainingData, testData) = (splits(0), splits(1)) // 训练模型 val numClasses = 2 val categoricalFeaturesInfo = Map[Int, Int]() val numTrees = 3 val featureSubsetStrategy = "auto" val impurity = "gini" val maxDepth = 5 val maxBins = 32 val model = RandomForest.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo, numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins) // 测试模型 val labelAndPreds = testData.map { point => val prediction = model.predict(point.features) (point.label, prediction) } val testErr = labelAndPreds.filter(r => r._1 != r._2).count.toDouble / testData.count() println("Test Error = " + testErr) println("Learned classification forest model:\n" + model.toDebugString) // 保存模型 model.save(sc, "myModelPath") // 加载模型 val sameModel = RandomForestModel.load(sc, "myModelPath") } } ``` 在这个示例中，我们使用了 Spark MLlib 库中的随机森林算法，通过加载样本数据、划分训练集和测试集、训练模型、测试模型以及保存和加载模型等步骤，实现了对淘宝购物者是否会成为回头客进行预测的功能。与决策树算法相比，随机森林算法能够进一步提升预测的准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值