Spark学习（7）——scala的Map与Tuple

最新推荐文章于 2023-06-08 10:53:57 发布
最新推荐文章于 2023-06-08 10:53:57 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： spark学习系列 文章标签： scala的Map与Tuple
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangzq2213/article/details/81318321
版权

创建Map

创建一个不可变的Map，immutable不可变的，默认的Map是immutable

根据键名获取map的值

创建一个可变的Map，可以改变某个值

使用另外一种方式定义Map元素

创建一个空的HashMap

访问Map的元素

获取指定key对应的value，如果key不存在，会报错

获取不存在的key

使用contains函数检查key是否存在

getOrElse函数，可以代替上述的比较复杂的判断

修改Map的元素

更新Map的元素

增加多个元素

移除元素

更新不可变的Map，其实本身不可变，只是赋给了一个新的Map

移除不可变map的元素，也是赋给一个新的map

遍历Map

遍历map的entrySet，使用增强for循环

遍历map的key

遍历map的value

生成新的map，反转key和value

SortedMap和LinkedHashMap

SortedMap可以自动对Map的key的排序，自动key按字母顺序排列

LinkedHashMap 可以记住插入entry的顺序，按照你插入的顺序

Map的元素类型Tuple

简单tuple，就是一组值，不一定是两个，可以是三个，四个。。。。

访问Tuple

Zip操作，将两个数组用zip操作合并成一个数组，数组内是一个一个的Tuple

Mbappe
关注
专栏目录
Spark零基础入门实战（二）Scala集合之List、Map
大数据实战派
12-08 1291
Scala中的List分为可变List和不可变List，默认使用的List为不可变List。不可变List也可以增加元素，但实际上生成了一个新的List，原List不变。例如，创建一个Int类型的List，名为nums，代码如下： 在该List的头部追加一个元素1，生成一个新的List： 在该List的尾部追加一个元素5，生成一个新的List： List也支持合并操作，例如，将两个List合并为一个新的List，代码如下： 输出结果如下： 此外，常用的还有二维List： 2. 可变L
【大数据Scala系列】Scala Map & Tuple
weixin_54707168的博客
03-31 139
【大数据Scala系列】Scala Map & Tuple
Scala Spark Map DataFrame Missing Paramenter Type
Gamedev
01-28 613
在学习sparkSQL时，按照书中的例子敲了代码，但是报出map row:Missing Paramenter Type的错误，意思就是没有指定row变量的类型。 当我在我的代码的val hiveCtx = new HiveContext(sc)的下一行，添加import hiveCtx.implicits._代码段之后，错误被解除了。因为这段代码会将RDD隐式转换为DataFrame 完整代...
一步步学spark之一scala的map操作1.9
Angel、骷髅博客
05-23 980
一步步学spark之一scala的map操作 1.9 scala的map操作语法 图中注意可变集合与不可变集合的声明   scala中map集合的遍历方法 只遍历key  不遍历value  用占位符 _  元组的取值 和数组的不一样   下标索引是从1开始 不是从0开始
Spark基础知识20_Scala遍历操作，map和flatMap操作、fliter、reduce、fold
最新发布
Matrix70的博客
06-08 1322
对lambda表达式含义的解释--->遍历到的元素赋值给s,然后让s去执行后续方法，这样就可以一个一个转换掉,此例中，会把值给s,然后执行.toUpperCase方法，然后再遍历，再执行下去.朗母达表达式，匿名函数case模式匹配，kv._1表示匹配的键，kv._2表示的匹配的值，这是元组的表达方式，这些遍历方法都可以去尝试。10 作为初始的s ,10 * 1，10 * 2， 20 * 3 ，60 * 4，240 *5。这些元素就构成了很大的集合，得到非常多的元素构成的整体的集合，就是我们所要的结果。
《深入理解Spark》之使用scala开发spark时，map+case结构使用技巧
凌夜知惜
10-03 5374
scala开发Spark程序时使用map +case结构的一点小技巧   people.txt文本如下 lyzx1,19 lyzx2,20 lyzx3,21 lyzx4,22 lyzx5,23 lyzx6,24 lyzx7,25 lyzx7,25,哈哈 托塔天王 package com.lyzx.start import org.apache.spark.{SparkConf, Sp...
Spark回炉重塑之Map与Tuple
阿尼古
09-26 671
目录 创建Map 访问Map的元素 修改Map的元素 遍历Map SortedMap和LinkedHashMap Map的元素类型—Tuple 小结 创建Map // 创建一个不可变的Map val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23) ages("Leo") = 31 // 创建一个可变的...
scala Map 和 Tuple操作
12-02 2181
package com.sparktest /** * 1.默认情况下Map构造的是不可变的集合，里面的内容不可变，一旦修改就变成了新的Map，原有的Map内容保持不变 * 2.Map的实例是调用工厂模式的apply来构造Map实例，而需要主要的是Map的接口，在apply中使用了具体的实现 * 3.如果想直接new出Map实例，则需要使用HashMap等具体的Map子类 * 4
Spark基础学习笔记11：Scala数据结构
qq_56244269的博客
06-13 1468
目录一、数组 (Array)1、数组定义2、数组遍历3、常用方法（二）变长数组1、数组定义2、数组合并3、插入元素 4、移除元素二、列表 (List)（一）不可变列表1、创建不可变列表2、给列表添加元素3、列表合并操作4、二维列表（二）可变列表1、创建可变列表3、列表排序4、列表总和、平均值、最值5、添加新元素​编辑 6、移除列表元素三、映射 (Map)（一）不可变映射1、创建不可变映射2、遍历不可变映射（二）可变映射1、创建可变映射2、修改可变映射3、查询可变映射4、添加元素5、删除元素四、元组 (Tup
Spark学习笔记——龟速更新。。
5akura's Blog
01-13 2318
文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-sublime提交任务2.1.3、提交任务的参数说明2.2、Standalone模式2.2.1、配置改动与启动2.2.2
Scala的Map相关方法整合
11-12
包含Scala语言关于Map的相关方法总结，包括详尽的方法名及其作用
学好Spark必须要掌握的Scala技术点（一）变量、表达式、循环、Option、方法和函数/偏函数
大数据学习与分享的博客
09-22 299
前言 Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作。正如之前所介绍，Spark是用Scala语言编写的，Kafka server端也是，那么深入学习Scala对掌握Spark、Kafka是必备掌握技能。 本篇文章主要介绍，在学习、编写Spark程序时，至少要掌握的Scala语法，多以示例说明。建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用。 1. 变量、表达式、循环、Option、方法和函数 1
Spark算子：RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
热门推荐
铭霏的记事本
06-26 1万+
partitionBy       def partitionBy(partitioner: Partitioner): RDD[(K, V)]       该函数根据partitioner函数生成新的ShuffleRDD，将原RDD重新分区。 scala> var rdd1 = sc.makeRDD(Array((1,"A"),(2,"B"),(3,"C"),(4,"D")),2) r
[scala-spark]7. list 与 map
沈春旭的博客
09-22 1487
1. list Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。声明数组变量并不是声明 number0、number1、...、number99 一个个单独的变量，而是声明一个就像 numbers 这样的变量，然后使用 numbers[0]、numbers[1]、...、numbers[99] 来表示一个个单独的变量。数组中某个指定...
Spark学习笔记08:Scala数据结构
balabalalibala的博客
05-17 726
目录 （一）定长数组 1、数组定义 （1）定义数组时初始化数据 （2）定义时指定数组长度后赋值 2、数组遍历 （1）传统for循环方式 （2）增强for循环方式 （3）利用foreach算子遍历数组 （4）数组求和 3、常用方法 （1）求数组中数值总和 （2）求数组中的最大值 （3）求数组中的最小值 （4）对数组进行升序排序 （5）对数组进行降序排序 （二）变长数组 1、数组定义 2、数组合并 3、插入元素 4、移除元素 二、列表 (List) （一）不可变列表
Spark Transformations之mapValues
weixin_34114823的博客
06-24 214
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark中MapValues算子（可以将value的值加起来，相当于reducebykey；也可以将value的个数加起来，相当于countbykey）
wyqwilliam的博客
08-03 3434
package com.bjsxt; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext;...
Spark-RDD 键值对的操作（Scala版）
二哥为啥不像程序员？
07-14 2402
键值对RDD是Spark中许多操作所需要的常见数据类型。键值对RDD通常用来进行聚合运算，我们一般要先通过一些初始ETL（抽取，转化，装载）操作来将数据转化为键值对形式。 Spark为包含键值对类型的RDD提供了一些专有的操作，这些RDD被称为PairRDD。 创建 pair RDD 很多存储键值对的数据格式会在读取时直接返回其由键值对数据组成的pair RDD，当需要把一个普通的RDD转化...
spark学习——scala基础篇
nicole_33的博客
10-13 2974
1、基础语法 1.1 两种变量类型 Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值 Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值 在Scala中声明变量必须有这两者其一的定义，但类型不是必须的，因为Scala可以自己判断。 1.2 控制台输入输出语句 输入：scala.io.Stdln read 输出：print()、println()、printf() 1.3 读写文件 写入文件：java.io.PrintWriter 读取文件：Scala.io.Source
Scala与Spark深度学习笔记：从基础到SparkSQL
"该资源是关于Spark和Scala的综合学习笔记，涵盖了从基础到进阶的多个主题，包括Scala的开发环境配置、基本语法、集合操作、面向对象编程和函数式编程，以及Spark的环境搭建、算子使用、运行原理、运行模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值