spark笔记

spark笔记

SparkSQL

1. spark DATAFRAME 进行类型转换时需要 使用 .cast()方法

$"year".cast(IntegerType) as "years"

2. 数据需要进行列转行时使用 LATERAL VIEW explode 方法，可以内嵌map方法

df
  .select($"burk", $"year", explode(columnMap) as Array("month", "pic")) //列转行

select burk,year,month,pic from burk LATERAL VIEW explode(map('01',tsl01,'02',tsl02,'03',tsl03,'04',tsl04,'05',tsl05,'06',tsl06,'07',tsl07,'08',tsl08,'09',tsl09,'10',tsl10,'11',tsl11,'12',tsl12)) t as month,pic

3. 行转列的方法，Pivot方法

stu
   .groupBy($"name")
   .pivot($"cou", List("数学", "英语"))

4. join可以在on后面指定多个连接数据的值

dfLastYear
   .join(dfThisYear,$"lastYear" === $"years" and($"burk"===$"burks") and($"month"===$"months"))

5. spark SQL中的coalesce函数和spark中的coalesce函数作用不一样

• SQL中是返回最后一个定义的数据
• spark中是自定义分区

coalesce($"grow",expr("0.0")

6. 开窗函数LAG 根据偏移量查询当前行之前第几行的数据。

lag(pic,1) over(partition by burk,month order by year

开窗函数学习地址

7. 可以使用 insert into 表名 select 值

insert into pm_warn_result select 3,'top',3,3,'c',3,'top',3,'anhui',3,'hefei',3,'yes','yes'

8. 对于有自增的主键可以自己指定主键值，如果不知道主键值则可以写0或者null