林子雨-5.2 键值对RDD

最新推荐文章于 2023-03-11 15:33:28 发布
最新推荐文章于 2023-03-11 15:33:28 发布
阅读量322 收藏 1
点赞数
分类专栏： scala 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloworld0906/article/details/102729906
版权

目录

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作（reduceByKey和groupByKey）

3、keys,values.sortByKey,mapValues,join

4、综合实例

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作（reduceByKey和groupByKey）

groupByKey的valueList以Iterable的形式保存（放在Iterable容器中）

用groupByKey和reduceByKey完成词频统计

3、keys,values.sortByKey,mapValues,join

keys：把key取出形成新的RDD

values：与keys同理

sortByKey()：默认按Key升序排序（false为降序）

sortBy()：.sortBy(_._2,false)按值降序排序

mapValues(fanc)

只对value进行操作

join

4、综合实例

 

冽夫
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
厦门大学-林子雨-大数据技术原理与应用
10-10
厦门大学-林子雨-大数据技术原理与应用 第1章-大数据概述（2017年2月版本）.ppt
Spark算子：RDD键值转换操作(2)–combineByKey、foldByKey
sdujava2011
01-28 791
combineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)] def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) =>
Spark键值对RDD的转化操作
dianhe8193的博客
05-08 352
1.1 键值对RDD的转化操作\\ 1.1.1 转化操作列表 针对一个Pair RDD的转化操作 ： 、 针对两个Pair RDD的转化操作 ： 转载于:https://www.cnblogs.com/Vowzhou/p/10833782.html...
Spark 键值对RDD的操作
晓晓的天空
03-11 1385
Spark 键值对RDD的操作
林子雨-5.1 RDD编程基础
自渡
10-24 798
1、RDD属于Spark Core spark核心：RDD 2、RDD的创建 文件加载 通过SparkContext对象的textFile()读取文件生成RDD file:///表示读取本地文件 每一行都是RDD的一个元素 hdfs://localhost:9000/也可以简写为/ 通过并行集合（数组）创建RDD 调用sc的parallelize方法 3...
黑猴子的家：Spark 键值对 RDD 之 转化操作
黑猴子的博客
06-09 365
1、转化操作列表 针对两个pair RDD 的转化操作（rdd = {(1,2),(3,4),(3,6)} 为例） 函数名 目的 示例 结果 reduceByKey(func) 合并具有相同键的值 rdd.reduceByKey((x,y)=> x+ y) {(1,2),(3,10)} groupByKey() 对具有相同键的值进行...
林子雨-大数据课程实验题目1
08-08
二、实验平台操作系统：Linux（建议Ubuntu16.04） 三、实验步骤（一）熟悉常用的Linux操作cd命令：切换目录切换到目录“/usr/local”切
厦门大学-林子雨-大数据技术原理与应用-上机练习-大数据技术与流量分析-流量异常检测
01-21
首先介绍流计算的基本概念和需求，分析了MapReduce框架为何不适合处理流数据；然后，阐述了流计算的处理流程和可应用的场景；接着介绍了流计算框架Storm的设计思想和架构设计...最后，通过实例来加深对Storm框架的了解
厦大林子雨-大数据ppt
03-23
厦门大学林子雨老师的大数据上课ppt讲义，希望能帮到准备学习大数据的同学。
厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作
11-20
熟悉常用的HDFS操作 （1） 理解HDFS在Hadoop体系结构中的角色； （2） 熟练使用HDFS操作常用的Shell命令； （3） 熟悉HDFS操作常用的Java API。
IDEA写spark程序时import org.apache.spark.sql.{Row,SparkSession}错误
自渡
05-09 7653
因为是IDEA第一次运行spark程序，所以需要导入相应的jar包 jar包来源参考我的另一篇博文 其实两篇博文描述的遇到的问题挺相似的 下载好后点击文件→项目结构→模块→依赖（lib） 也可以直接shift+Ctrl+Alt打开此界面 点击右边的➕，选择 Jars或目录，选择下载好的Jar包，单击确定。 大功告成~ ...
关于spark中的collect
自渡
07-25 5238
所以不要轻易用collect，集群中用了collect产生的数组据说是保存在主节点中，其他节点访问不到，所以还要用到广播变量广播道其他节点，不然就会报空指针的错误。 以下出自这里：https://blog.csdn.net/qq_44596980/article/details/93383431 /*collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟...
spark_程序接收外部传入的参数
自渡
11-04 3129
spark-submit --class "test" --master spark://master:7077 / --driver-cores 16 --executor-cores 16 --conf spark.driver.memory=30G / --conf spark.executor.memory=30G / /root/xxx/test/target/scala-2....
scala写入HDFS
自渡
07-25 2711
今天跟同学讨论发现一个很菜鸟好玩的东西 scala调用Java的写入方法时只能写入本地文件，不能写入HDFS等分布式文件系统中，导致不同程序间很难访问到同一个文件除非在脚本中加入HDFS的上传文件命令。 所以scala写入HDFS大体就两种方法：dataframe or RDD ...
org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2
自渡
10-24 2081
https://blog.csdn.net/gg584741/article/details/77884060 https://stackoverflow.com/questions/37553059/extracting-seqstring-string-string-from-spark-dataframe http://apache-spark-developers-list.10015...
在IDEA中开发scala
自渡
05-07 1701
1、准备环境 文件→设置→Plugins→搜索SCALA→点击search in repositories→选择language的scala→install 需要重启IDEA来激活SCALA插件 2、开发 一、 二、选择maven，点击下一个 点击完成 三、 用maven开发需要手动添加scala框架 选择添加框架的支持 勾上scala，点击确定 ...
scala函数返回元组类型时的声明
自渡
10-24 1614
Array中，val a=Array[String]即可 元组可以存放不同类型的数据：val a=("er",2) 这样就声明了返回(Int,String)类型的元组结构 def test(str:String):(Int,String)={ 语句块 } ...
spark dataframe中的for和if
自渡
10-15 1540
尽可能地用map代替for map相较于for真的快很多 if 和 for 真的太为难JVM了（运行效率非常低下） 他只是个单纯的OO（卑微） ???? 关于python中dataframe的 for 和 if ，有异曲同工之妙： https://blog.csdn.net/geniusle201/article/details/78351639#commentBox ...
scala中的可变长数组
自渡
10-24 1381
val buffer = ArrayBuffer[T]() 追加方法： += ++= append
林子雨kettle实验答案
最新发布
11-18
林子雨的kettle实验是一个热物质传导实验。在这个实验中，林子雨使用了一个加热板和一个水壶，通过测量水壶内水的...通过这个实验，林子雨对热传导现象有了更深入的理解，并且为未来的学术研究和实际应用积累了经验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值