SparkSQL内置函数、UDF函数、Catalog

最新推荐文章于 2023-03-12 17:26:20 发布

VIP文章 11号车厢

最新推荐文章于 2023-03-12 17:26:20 发布

阅读量539

点赞数

分类专栏： Spark2 文章标签： Spark2

本文链接：https://blog.csdn.net/greenplum_xiaofan/article/details/98814573

版权

文章目录

1、SparkSQL内置函数介绍

SparkSQL的内置函数全部都是在functions.scala类中，Ctrl+F12快捷键可以产看本类中的所有方法。
需要手动导入：import org.apache.spark.sql.functions._
在这里插入图片描述

scala> val df=spark.read.json("file:///home/hadoop/data/stu1.json")
df: org.apache.spark.sql.DataFrame = [email: string, id: string ... 2 more fields]

scala> df.show
+--------+---+--------+-----------+
|   email| id|    name|      phone|
+--------+---+--------+-----------+
|1@qq.com|  1|zhangsan|13721442689|
|2@qq.com|  2|    lisi|13721442687|
|3@qq.com|  3|  wangwu|13721442688|
|4@qq.com|  4|xiaoming|13721442686|
|5@qq.com|  5|xiaowang