Scala
YannAdams
这个作者很懒,什么都没留下…
展开
-
Scala创建新的空DataFrame
Scala创建新的空DataFrame前言实现参考博客前言本文主要是对Scala中创建空DataFrame的方式进行介绍,以下将会列举不同的代码示例实现方式一: /** * 创建一个空的DataFrame,代表用户 * 有四列,分别代表ID、名字、年龄、生日 */ val colNames = Array("id", "name", "age", "...转载 2019-09-24 17:13:49 · 5329 阅读 · 0 评论 -
SparkSQL中DataFrame的常用操作
SparkSQL中DataFrame的常用操作前言基础操作类方法 Action基本函数(Basic Dataset functions)流式函数(streaming)强类型转换(Typed transformations)弱类型转换(Untyped transformations)未分组(Ungrouped)参考博客前言本文介绍DataFrame的用法,它是Dataset[Row]的别名,而o...转载 2019-09-24 21:28:18 · 869 阅读 · 0 评论 -
Spark Dataset的join操作
以下是两个具有相同列名的Dataset按照同名列相等进行join操作,join结果中同名列只会出现一个:val df1 = Seq((1, 2, 3),(1, 1, 1)).toDF("a", "b", "c")val df2 = Seq((1, 2, 4),(2, 2, 2)).toDF("a", "b", "c")df1.show+---+---+---+| a| b| c|...转载 2019-09-24 21:33:38 · 2369 阅读 · 0 评论