![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DataFrama
YannAdams
这个作者很懒,什么都没留下…
展开
-
Scala创建新的空DataFrame
Scala创建新的空DataFrame前言实现参考博客前言本文主要是对Scala中创建空DataFrame的方式进行介绍,以下将会列举不同的代码示例实现方式一: /** * 创建一个空的DataFrame,代表用户 * 有四列,分别代表ID、名字、年龄、生日 */ val colNames = Array("id", "name", "age", "...转载 2019-09-24 17:13:49 · 5304 阅读 · 0 评论 -
hive 创建临时表和往表插入数据
hive 创建临时表和往表插入数据前言实现前言本文讲述了如何将生成的DataFrame数据批量插入hive表。实现往hive表中插入数据有两种方式,一种是向指定数据库、数据表中写入数据,hiveContext.sql("use DataBaseName")data.toDF().insertInto("tableName")另一种是把DataFrame数据注册为临时表,再写入hiv...原创 2019-09-24 20:40:19 · 10043 阅读 · 2 评论 -
SparkSQL中DataFrame的常用操作
SparkSQL中DataFrame的常用操作前言基础操作类方法 Action基本函数(Basic Dataset functions)流式函数(streaming)强类型转换(Typed transformations)弱类型转换(Untyped transformations)未分组(Ungrouped)参考博客前言本文介绍DataFrame的用法,它是Dataset[Row]的别名,而o...转载 2019-09-24 21:28:18 · 852 阅读 · 0 评论 -
Spark Dataset的join操作
以下是两个具有相同列名的Dataset按照同名列相等进行join操作,join结果中同名列只会出现一个:val df1 = Seq((1, 2, 3),(1, 1, 1)).toDF("a", "b", "c")val df2 = Seq((1, 2, 4),(2, 2, 2)).toDF("a", "b", "c")df1.show+---+---+---+| a| b| c|...转载 2019-09-24 21:33:38 · 2358 阅读 · 0 评论