![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark学习
文章平均质量分 61
纵配天
这个作者很懒,什么都没留下…
展开
-
key-value类型算子学习
17.partitionBy18. reduceByKey19.groupByKey20.aggregateByKey原创 2022-03-03 09:49:26 · 1814 阅读 · 0 评论 -
Spark学习日记(双Value类型算子)
交集,并集,差集,zip原创 2021-06-11 09:11:08 · 248 阅读 · 0 评论 -
RDD算子(Value类型sample)
整理心情继续。Value类型再开始:8.sampleseed默认是系统时间(老倒霉蛋小声是不是抽奖也是看时间的)抽取数据不放回:伯努利抽取数据放回:泊松摘抄自尚硅谷讲义// 抽取数据不放回(伯努利算法)// 伯努利算法:又叫 0、1 分布。例如扔硬币,要么正面,要么反面。// 具体实现:根据种子和随机算法算出一个数和第二个参数设置几率比较,小于第二个参数要,大于不要// 第一个参数:抽取的数据是否放回,false:不放回// 第二个参数:抽取的几率,范围在[0,1]之原创 2021-06-10 17:16:43 · 223 阅读 · 0 评论 -
RDD方法学习(map,mapPartitions,mapPartitionsWithIndex,flatMap)
RDD方法:1.转换:功能的补充和封装,将旧的RDD包装成新的RDD(flatmap,map) 2.行动:触发任务的调度和作业的执行(collect)IDEA代码自动补全https://cloud.tencent.com/developer/article/1581092scala匿名函数需要学习一下,类似过程: //val mapRDD: RDD[Int] = rdd.map(mapFunction) //val mapRDD: RDD[I...原创 2021-06-10 15:30:01 · 666 阅读 · 0 评论