scala 随机数函数截取 spark 数据集

最新推荐文章于 2023-05-21 11:43:40 发布
最新推荐文章于 2023-05-21 11:43:40 发布
阅读量4.5k 收藏
点赞数
分类专栏： scala spark 文章标签： scala 随机数 spark 数据集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkcgx/article/details/46881317
版权

scala代码：

scala.math.abs(scala.util.Random.nextInt())%27<20


scala.math.abs：绝对值

scala.util.Random.nextInt：随机数


应用，截取spark数据集：

val data = sc.textFile("hdfs://localhost:9000/ModelData/*")

.filter( f=> scala.math.abs(scala.util.Random.nextInt())%27<20 )

刀砍磁感线
关注
专栏目录
第二十五记·Scala操作SparkSQL案例（自定义函数及读写CSV格式的数据）
玖局下半的博客
09-09 2429
XY个人记 SparkSQL的函数 HIve支持的函数，SparkSQL基本都是支持的，SparkSQL支持两种自定义函数，分别是：UDF和UDAF，两种函数都是通过SparkSession的udf属性进行函数的注册使用的；SparkSQL不支持UDTF函数的 自定义使用。 ☆ UDF：一条数据输入，一条数据输出，一对一的函数，即普通函数 ☆ UDAF：多条数据输入，一条数据输出，多对一的...
大数据之Spark（四）：Spark SQL
Oak_Komorebi的博客
08-16 1035
一、SparkSQL的发展 1.1 概述 SparkSQL是Spark⽣态体系中的构建在SparkCore基础之上的⼀个基于SQL的计算模块。 SparkSQL的前身不叫SparkSQL，⽽叫Shark，最开始的时候底层代码优化，sql的解析、执⾏引擎等等完全基于 Hive，总是Shark的执⾏速度要⽐hive⾼出⼀个数量级，但是hive的发展制约了Shark，所以在15年中旬的时候， shark负责⼈，将shark项⽬结束掉，重新独⽴出来的⼀个项⽬，就是sparksql，不再依赖hive，做了独⽴的发
scala，spark生成随机数据测试
weixin_44947939的博客
06-21 1233
sparkSql rdd转DataFrame 随机数据生成
spark之随机数求最大值
最新发布
qq_52179028的博客
05-21 252
代码如下,随机生成50个1-10000的随机数并求出最大值。
使用Scala生成随机数
热门推荐
说文科技，做有态度的研究。
04-26 3万+
一.使用Scala生成随机数 1.简单版本： /* 1.you can use scala.util.Random.nextInt(10) to produce a number between 1 and 10 2.at the same time,you nextInt(100) to produce a number between 1 and 100 */ object Test { ...
hive、spark函数大全
yshysh8的博客
09-02 1766
一、hive 1、日期 （hive没有date类型） 1）、获取时间 current_date 2019-05-07 current_timestamp/now() 2019-05-07 15:20:49.247 2）、从日期时间中提取字段 year(''),month(''),day/dayofmonth,hour(''),minute(''),second(''),dayofweek(),d...
SparkSQL知识点总结
默主归沙的博客
06-06 3969
零基础学sparksql
Scala笔记2
Master__0的博客
03-31 403
Scala第五章节 章节目标 掌握方法的格式和用法 掌握函数的格式和用法 掌握九九乘法表案例 1. 方法 1.1 概述 实际开发中, 我们需要编写大量的逻辑代码, 这就势必会涉及到重复的需求. 例如: 求10和20的最大值, 求11和22的最大值, 像这样的需求, 用来进行比较的逻辑代码需要编写两次, 而如果把比较的逻辑代码放到方法中, 只需要编写一次就可以了, 这就是方法. scala中的方法和Java方法类似, 但scala与Java定义方法的语法是不一样的。 1.2 语法格式 def 方法名(
Spark常见算子总结
u010920561的博客
10-10 563
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。 内容自己用心整理，看我的就够了 Transformation： 1.map map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而...
Scala Java Random 用法
BITDDD小栈
07-02 2659
Scala Java Random 用法 mark 一下常用的 random 用法~ 加载Random： import scala.util.Random val random = new Random() 常用： 随机生成 [0,n) 的整数，注意左开右闭： random.nextInt(10) 6 随机生成[m,n] 的整数，这里+1 或者 不+ 可以控制右边区间的开闭： val m = 3 val n = 10 random.nextInt(n- m..
spark篇1：Spark和SparkSql UDF数据倾斜之随机数前缀
qq_38740498的博客
12-10 1992
spark篇1：spark和sparksql udf数据倾斜之随机数前缀 废话不多说，直接上干货 1 spark rdd 思路：先加前缀一次聚会，再去前缀二次聚合 package RDDDFDS import RDDDFDS.初始化.ContextUtils import org.apache.spark.rdd.RDD import RDDDFDS.隐式转换.ImplicitAspect.rd...
scala 在某特定范围内生成随机数
超级帅的一个小伙子的博客
05-12 1万+
scala随机数生成函数(new util.Random).nextInt(n) 返回一个0-n（不包括n） 的随机数比如scala> (new util.Random).nextInt(3) res7: Int = 1返回一个[0, 2]的随机数scala生成一组不重复的随机数1、循环获取随机数，再到 list中找，如果没有则添加def randomNew(n:Int)={ var res
Spark Dataframe 按行随机打乱
hnudagger的博客
03-31 9304
Spark Dataframe 按行随机打乱 1. 原因 做这个是由于算法的训练样本需要打乱。样本打乱在正常情况下有很多方法，比如下载本地用linux的shuf命令。然而我在用spark-tensorflow-connector做tfrecord数据格式转化时，由于spark dataframe中是tfrecord数据，下载本地后为二进制文件，所以按行打乱过程需要在dataframe中进行。 2....
scala随机数生成，生成一组不重复随机数算法
springlustre的专栏
09-30 2万+
scala随机数生成函数 (new util.Random).nextInt(n) 返回一个0-n（不包括n） 的随机数比如scala> (new util.Random).nextInt(3) res7: Int = 1返回一个[0, 2]的随机数 scala生成一组不重复的随机数 1、循环获取随机数，再到 list中找，如果没有则添加 def randomNew(n:Int)=
scala——随机数生成
主公在此的博客
11-03 6152
(new util.Random).nextInt(n) 返回一个0-n（不包括n） 的随机数 比如：scala> (new util.Random).nextInt(3) res7: Int = 1返回一个[0, 2]的随机数scala生成一组不重复的随机数 1、循环获取随机数，再到 list中找，如果没有则添加def randomNew(n:Int)={ var resultList:L
Scala<产生min-max之间的随机数>
Gpwner的博客
06-03 3758
下面的代码是产生1-35范围内的整数 while (true) { var a = 1 + (new Random).nextInt((35 - 1) + 1) if (a <= 0 || a >= 36) print(a) } (new Random).nextInt（n）会产生一个大于等于0且小于n的整数
Spark 提供的概率与统计算法 - 基本统计算法
BlueSky
04-16 9108
spark-mllib 使用到了Breeze线性代数包，Breeze 采用了 metlib-java包来优化数字处理，但是由于版权问题，Breeze 中缺省不包含 netlib-java 的 native proxy，需要在项目中自行引用。         compile "org.apache.spark:spark-mllib_${scalaMajorVersion}:${s
Scala学习9之产生随机数并写入到文件中
Keep Learning
05-11 3441
代码： package Chapter4 import scala.io.Source import java.io.PrintWriter import java.io.File import java.util._; import java.text.SimpleDateFormat //import object ProduceRandom { def main(args: Arra
随机切分训练集合测试集
Yan456jie的专栏
06-29 2728
from sklearn import cross_validation X_train, X_test, y_train, y_test = \ cross_validation.train_test_split(im_features,labels, test_size=0.3, random_state=0)
产生随机数之srandom()与random()的应用
长弓的专栏
07-28 2万+
1。生产随机数需要种子（Seed），且如果种子固定，random()每次运行生成的随机数（其实是伪随机数）也是固定的；因为返回的随机数是根据稳定的算法得出的稳定结果序列，并且Seed就是这个算法开始计算的第一个值。 2。srandom()可以设定种子，比如srandom(0) 、srandom(1)等等。如果srandom设定了一个固定的种子，那么random得出的随机数就是固定的；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值