spark常用方法

目录

数组常用方法

列表操作常用方法

集合操作常用方法

 Spark中的集合操作常用方法（转换操作）

使用join()方法连接两个RDD

查看DataFrame数据

show()：查看数据 

first()/head()/take()/takeAsList()：获取若干条记录

直接在DataFrame对象上进行查询，DataFrame提供了很多查询的方法

---

数组常用方法

方法	描述
length	返回数组的长度
head	查看数组的第一个长度
tail	查看数组中除了第一个以外的元素
isEmpty	判断数组是否为空
contains(x）	判断数组是否包含元素x

数组是Scala中常用的一种数据结构，数组是一种存储了相同类型元素的固定大小的顺序集合。

列表操作常用方法

方法	描述
def head: A	获取列表的第一个元素
def init:List[A]	返回所有元素，除了最后一个元素
def last:A	获取列表的最后一个元素
def tail:List[A]	返回所有元素，除了第一个元素
def :::(prefix: List[A]): List[A]	在列表开头添加指定列表的元素
def take(n: Int): List[A]	获取列表前n个元素
def contains(elem: Any): Boolean	判断列表是否包含指定元素

 Scala中常用的查看列表元素的方法有：
                head：查看列表的第一个元素。

                tail：查看第一个元素之后的其余元素。

                last：查看列表的最后一个元素。

                Init：查看除最后一个元素外的所有元素。

                take()：查看列表前n个元素。

合并两个列表还可以使用concat()方法。
用户可以使用contains()方法判断列表中是否包含某个元素，若列表中存在指定的元素则返回true，否则返回false。

集合操作常用方法

方法	描述
def head: A	获取集合的第一个元素
def init:Set[A]	返回所有元素，除了最后一个
def last:A	获取集合的最后一个元素
def tail:Set[A]	返回所有元素，除了第一个
def ++(elems: A): Set[A]	合并两个集合
def take(n: Int): List[A]	获取列表前n个元素
def contains(elem: Any): Boolean	判断集合中是否包含指定元素

 Spark中的集合操作常用方法（转换操作）

方法	描述
union（）	参数是RDD，合并两个RDD的所有元素
intersection（）	参数是RDD，求出两个RDD的共同元素
subtract（）	参数是RDD，将原RDD里和参数RDD里相同的元素去掉
cartesian（）	参数是RDD，求两个RDD的笛卡儿积

使用join()方法连接两个RDD

将有键的一组数据与另一组有键的数据根据键进行连接，是对键值对数据常用的操作之一。

与合并不同，连接会对键相同的值进行合并，连接方式多种多样，包含内连接、右外连接、左外连接、全外连接，不同的连接方式需要使用不同的连接方法。

连接方法如下表。

连接方法	描述
join（）	对两个RDD进行内连接
rightOuterJoin（）	对两个RDD进行连接操作，确保第二个RDD的键必须存在（右外连接）
leftOuterJoin（）	对两个RDD进行连接操作，确保第一个RDD的键必须存在（左外连接）
fullOuterJoin（）	对两个RDD进行全外连接

查看DataFrame数据

方法	描述
printSchema	打印数据模式
show	查看数据
first/head/take/takeAsList	获取若干行数据
collect/collectAsList	获取所有数据

show()：查看数据 

方法	描述
show（）	显示前20条记录
show（numRows：Int）	显示numRows
show（truncate：Boolean）	是否最多只显示20个字符，默认为true
show（numRows：Int，truncate：Boolean）	显示numRows条记录并设置过长字符串的显示格式

first()/head()/take()/takeAsList()：获取若干条记录

方法	描述
first	获取第一行记录
head（n：Int）	获取前n行记录
take（n:Int）	获取前n行记录
takeAsList（n：Int）	获取前n行数据，并以列表的形式展现

直接在DataFrame对象上进行查询，DataFrame提供了很多查询的方法

方法	描述
where	条件查询
select/selectExpr/col/apply	查询指定字段的数据信息
limit	查询前n行记录
order by	排序查询
group by	分组查询
join	连接查询

（1）where()方法

DataFrame可以使用where(conditionExpr: String)根据指定条件进行查询

参数中可以使用and或or

该方法的返回结果仍然为DataFrame类型

（2）filter()方法

DataFrame还可使用filter筛选符合条件的数据

2．select()/selectExpr()/col()/apply()方法

（1）select()方法：获取指定字段值

select方法根据传入的string类型字段名，获取指定字段的值，以DataFrame类型返回

（2）selectExpr()方法：对指定字段进行特殊处理

selectExpr：对指定字段进行特殊处理，可以对指定字段调用UDF函数或者指定别名。

selectExpr传入String类型的参数，返回DataFrame对象。

（3）col()/apply()方法

col或者apply也可以获取DataFrame指定字段

col或者apply只能获取一个字段，并且返回对象为Column类型