Spark大数据处理讲课笔记1.6 掌握Scala数据结构

最新推荐文章于 2024-05-16 14:24:17 发布
最新推荐文章于 2024-05-16 14:24:17 发布
阅读量248 收藏 1
点赞数
分类专栏： spark 1 文章标签： scala java 开发语言 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63561044/article/details/129354138
版权
本文详细讲解了Scala中的数据结构，包括数组、列表、映射、元组和集合的使用。介绍了定长数组与变长数组的定义、遍历、操作方法；不可变列表与可变列表的创建、添加元素、合并、排序等特性；映射的创建、遍历、修改操作；元组的定义、访问和转换；以及集合的定义、增删元素及常见方法。同时，提供了丰富的课堂练习和课后作业，帮助读者巩固学习。
摘要由CSDN通过智能技术生成

文章目录

零、本节学习目标

一、数组 (Array)

（一）定长数组

1、数组定义

（1）定义数组时初始化数据

（2）定义时指定数组长度，后赋值

2、数组遍历

（1）传统for循环方式

（2）增强for循环方式

（3）利用foreach算子遍历数组

课堂练习：数组求和

3、常用方法

（1）求数组中数值总和

（2）求数组中的最大值

（3）求数组中的最小值

（4）对数组实现升序

（5）对数组实现降序

课堂练习：数组查询

（二）变长数组

1、数组定义

2、数组合并

3、插入元素

课堂练习：产生随机整数构成的变长数组

4、移除元素

二、列表 (List)

（一）不可变列表

1、创建不可变列表

2、给列表添加元素

（1）在列表头添加元素

（2）在列表尾添加元素

3、列表合并操作

4、二维列表

（二）可变列表

1、创建可变列表

2、列表合并

3、列表排序

4、列表总和、平均值、最值

5、添加新元素

6、移除列表元素

课堂练习

三、映射 (Map)

（一）不可变映射

1、创建不可变映射

2、遍历不可变映射

（二）可变映射

1、创建可变映射

2、修改可变映射

3、查询可变映射

4、添加元素

5、删除元素

四、元组 (Tuple)

（一）定义元组

1、直接赋值定义元组

2、创建指定长度的元组

（二）访问元组

（三）迭代元组

（四）元组转为字符串

课堂练习：对一个字符串进行词频统计

五、集合 (Set)

（一）定义集合

（二）增减元素

（三）集合方法

1、获取首元素

2、获取去首子集合

课堂练习：删除排前的三个城市

3、两个集合求并集

4、两个集合求交集

5、求集合的最值

六、课后作业

任务：IP地址去重

零、本节学习目标

  1. 掌握数组的使用

  1. 掌握列表的使用

  1. 掌握映射的使用

  1. 掌握集合的使用

  1. 掌握元组的使用

Scala集合(collection)分为可变集合( mutable collection)和不可变集合( immutable collection)。可变集合可以对其中的元素进行修改、添加、移除；而不可变集合永远不会改变，但是仍然可以模拟添加、移除或更新操作。这些操作都会返回一个新的集合，原集合的内容不发生改变。

一、数组 (Array)

  • Scala中的数组分为定长数组和变长数组，定长数组初始化后不可对数组长度进行修改，而变长数组则可以修改。

（一）定长数组

1、数组定义

（1）定义数组时初始化数据

自动推断数组类型

手动指定数据类型

（2）定义时指定数组长度，后赋值

先定义，后赋值

最低0.47元/天 解锁文章
是 你 啊 初 心
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark-实现自定义排序的六种方法（Scala版本）
静远小和尚的博客
07-04 1914
原文链接：https://www.toutiao.com/i6845585556722680328/ 在实际开发中经常需要对数据进行排序统计，Spark的sortBy以及SortByKEy算子并不能完全适用开发场景，需要我们自定义排序规则，例如如下数据： Array("张三 16 98.3", "李四 14 98.3", "王五 34 100.0", "赵六 26 98.2", "田七 18 98.2") 包含三个字段的学生数据，（姓名，年龄，成绩），我们需要按照成绩进行降序排序，成绩相同的按照年龄
Spark大数据处理讲课笔记3.1 掌握RDD的创建
ZYF2190003497的博客
04-13 169
零、本节学习目标 了解RDD的主要特征 掌握RDD的创建方式
Spark期末复习总结（2-5）章
最新发布
2303_77733754的博客
05-16 1720
new Array[T](数组长度) //定义定长数组ArrayBuffer[T]() //定义变长数组注意:定义变长数组时，则需要导包import scala,collection.mutable.ArrayBuffer通过一个例子来演示Scala数组简单使用scala中，集合有三大类: List、set以及MapScala 集合分为可变的(mutable)和不可变(immutable)的集合。Scala是一种面向对象的语言。
Spark1.6.0 Scala创建DataFrame
csmnjk的专栏
03-13 1865
一.通过文件生成DF（1）通过SQLContext的csvFile函数加载csv文件生成DFimport com.databricks.spark.csv._ val students=sqlContext.csvFile(filePath="StudentData.csv", useHeader=true, delimiter='|')csvFile方法接收需要加载的csv文件路径file...
Spark大数据处理讲课笔记----Spark任务调度
weixin_64272885的博客
05-23 875
理解DAG概念 了解Stage划分 了解RDD在Spark中的运行流程
Spark大数据处理笔记1.7掌握Scala类、对象、抽象类与特质
qq_62847100的博客
04-01 203
辅助构造器的方法名称为this每一个辅助构造器的方法体中必须首先调用其他已定义的构造器辅助构造器的参数不能使用var或val进行修饰Scala的抽象类使用关键字abstract定义trait 特质名 {// 抽象字段// 抽象方法// 普通字段// 普通方法。
Spark大数据处理讲课笔记3.5 RDD持久化机制
ZYF2190003497的博客
05-11 175
若RDD3没有持久化保存，则每次对RDD3进行操作时都需要从textFile()开始计算，将文件数据转化为RDD1，再转化为RDD2，最终才得到RDD3。上述操作说明，调用RDD的persist()方法只是将该RDD标记为持久化，当执行行动操作时才会对标记为持久化的RDD进行持久化操作。计算RDD4，就是基于RDD3缓存的数据开始计算，不用从头到尾跑一趟。计算RDD5，就是基于RDD3缓存的数据开始计算，不用从头到尾跑一趟。的存储信息，该RDD的存储级别为。的存储信息，该RDD的存储级别为。
基于Scala的Apache Spark大数据处理设计源码
03-28
Apache Spark 是一个强大的分布式计算框架，专为大数据处理而设计，其核心特性是高效的数据缓存和快速的数据处理。在本项目中，源码使用了Scala作为主要开发语言，同时也结合了Java和Python，展示了Spark的多语言...
基于Scala的Spark大数据处理实验设计源码
04-08
Spark大数据处理实验：基于Scala开发，包含37个文件，包括17个Scala源文件、11个Word文档、6个PNG图像文件、1个.gitignore文件、1个LICENSE文件和1个文本文件。该项目是一个Spark大数据处理实验项目，旨在为学习者...
基于Scala的Spark大数据处理框架设计源码
04-09
Spark大数据处理框架 - 基于Scala开发，包含26个文件，如SCALA、PNG、GITIGNORE、LICENSE、KEEP、SPARK5/作业5、SPARK6/作业6和SPARK7/SPARK7等。该系统是一个基于Scala的Spark大数据处理框架，通过界面交互和功能...
基于Scala的Spark大数据处理实践设计源码
04-08
Spark大数据处理实践：基于Scala开发，包含20个文件，包括9个Scala源文件、4个PNG图像文件、4个Word文档、1个.gitignore文件、1个SVG图像文件和1个LICENSE文件。该项目用于Spark大数据处理的实践练习，练习时长为两...
基于Scala的Spark大数据处理代码设计源码
04-08
Spark大数据处理代码：基于Scala开发，包含131个文件，包括127个Scala源文件、1个LICENSE文件、1个Markdown文档、1个XML配置文件和1个Properties配置文件。该项目是由刘彪提供的Spark大数据处理代码，可用于进行数据...
大数据笔记--Spark（第四篇）
我睡觉的时候不困
04-04 2643
一、RDD的容错机制 二、RDD持久化机制 1、RDD持久化（缓存） 2、使用缓存 3、缓存数据的清除 4、持久化理解 三、CheckPoint机制 1、概述 2、示例代码： 3、总结 4、Saprk懒执行的意义 四、GC回收机制及算法 1、概述 2、哪些内存数据需要被回收？ Ⅰ、引用计数法判定 Ⅱ、可达性分析法 3、常见的垃圾回收算法 Ⅰ、标记-清除算法 Ⅱ、复制算法 Ⅲ、标记-整理算法 Ⅳ、分代收集算法 五、GC收集器 1、概述 2、Serial系列收集器
spark指定python版本_Mac 配置Spark环境scala+python版本（Spark1.6.0）
weixin_39920403的博客
11-26 213
1. 从官网下载Spark安装包，解压到自己的安装目录下（默认已经安装好JDK，JDK安装可自行查找）； spark官网：http://spark.apache.org/downloads.html2. 进入系统命令行界面，进入安装目录下，如"／安装目录／spark-1.6.0-bin-hadoop-2.6.0 "，输入命令"./bin/pyspark"验证pyspark能否运行，再输入命令“./...
Spark1.6.1平台搭建(hadoop-2.7.2 scala-2.11.8)
Inner Peace
07-15 3620
0 说明0.1 备注建立文件夹(sparkdir、hadoop、java、scala、spark) 每台机器均有 /usr/sparkdir /hadoop /hadoop-2.7.2 /java /jdk1.8.0_91 /scala
spark 1.6.1 源码编译过程
天道酬勤
11-26 271
一、安装scala 2.10.4 解压配置环境变量即可 二、编译spark源码 源码下载地址： http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1.tgz 解压 修改make-distribute.sh 文件，在这个位置加入以上内容： 把原来的版本删掉，然后加上： VERSION=1.6.1 SCALA_VERSION=2.10.4 SPARK_HADOOP_VERSION=2.5.0-cdh5.3.6 SPARK_HIVE=1 修改p
Spark 数据结构
FreedomZzzzz的博客
11-20 168
总结：
Spark编程基础详细总结
m0_74285245的博客
04-01 1949
第二种方式生成的RDD中保存的是T的值，Seq［String］部分的数据会按照 Seqf（T,Seq［String］）的顺序存放到各个分区中，一个 Seq［Stringl对应存放至一个分区，并为数据提供位置信息，通过preferredLocations0方法可以根据位置信息查看每一个分区的值。（2）第2个参数是 ascending，决定排序后 RDD 中的元素是升序的还是降序的，默认是 true，即升序排序，如果需要降序排序则需要将参数的值设置为 false。mapO方法是懒操作，不会立即进行计算。
Spark零基础入门实战（二）Scala集合之元组、Set
大数据实战派
12-08 733
元组是一个可以存放不同类型对象的集合，元组中的元素不可以修改。例如，定义一个元组t： 也可以使用以下方式定义元组，其中Tuple3是一个元组类，代表元组的长度为3： 目前，Scala 支持的元组最大长度为22，即可以使用Tuple1到Tuple22。元组的实际类型取决于元素数量和元素的类型。例如，(20,"shanghai")的类型是Tuple2[Int,String]，(10,20,"beijing","shanghai","guangzhou")的类型是Tuple5[Int,Int,String
Spark大数据处理学习笔记
09-18
Spark大数据处理学习笔记

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值