RDD、DataFrame、DateSet基本操作

一,RDD,DataFrame和DataSet

DataFrame参照了Pandas的思想,在RDD基础上增加了schma,能够获取列名信息。
DataSet在DataFrame基础上进一步增加了数据类型信息,可以在编译时发现类型错误。
DataFrame可以看成DataSet[Row],两者的API接口完全相同。
DataFrame和DataSet都支持SQL交互式查询,可以和 Hive无缝衔接。
DataSet只有在Scala语言和Java语言的Spark接口中才支持,在Python和R语言接口只支持DataFrame,不支持DataSet。

二,创建DataFrame

1,通过toDF方法创建

可以将Seq,List或者 RDD转换成DataFrame。

2,通过CreateDataFrame方法动态创建DataFrame

可以通过createDataFrame的方法指定rdd和schema创建DataFrame。
这种方法比较繁琐,但是可以在预先不知道schema和数据类型的情况下在代码中动态创建DataFrame。

 

3,通过读取文件创建

可以读取json文件,csv文件,hive数据表或者mysql数据表得到DataFrame。

三,创建DataSet

DataSet主要通过toDS方法从Seq,List或者RDD数据类型转换得到,或者从DataFrame通过as方法转换得到。

1,通过toDS方法创建

可以将Seq,List或者 RDD转换成DataFrame。

2,通过DataFrame的as转换方法得到DataSet

 

四,RDD,DataFrame和DataSet的相互转换

Spark的RDD,DataFrame和DataSet三种数据结构之间可以相互转换。

五,DataFrame/DataSet保存成文件

可以保存成csv文件,json文件,parquet文件或者保存成hive数据表。

六,DataFrame的API交互

DataFrame和DataSet具有完全相同的API,此处演示DataFrame常用的一些API使用。

1,Action操作

DataFrame的Action操作包括show,count,collect,collectAsList,describe,take,takeAsList,head,first等。

2,类RDD操作

DataFrame支持RDD常用的map,flatMap,filter,reduce,distinct,cache,sample,mapPartitions,foreach,intersect,except等操作。

可以把DataFrame当做数据类型为Row的RDD来进行操作。

3,类Excel操作

可以对DataFrame进行增加列,删除列,重命名列,排序等操作,去除重复行,去除空行,就跟操作Excel表格一样。

4,类SQL表操作

类SQL表操作包括表查询(select,selectExpr,where,filter),表连接(join,union,unionAll),表分组聚合(groupby,agg,pivot)等操作。

七,DataFrame的SQL交互

将DataFrame/DataSet注册为临时表视图或者全局表视图后,可以使用sql语句对DataFrame进行交互。

以下为示范代码。

八,用户自定义函数

SparkSQL的用户自定义函数包括二种类型,UDF和UDAF,即普通用户自定义函数和用户自定义聚合函数。

其中UDAF由分为弱类型UDAF和强类型UDAF,前者可以在DataFrame,DataSet,以及SQL语句中使用,后者仅可以在DataSet中使用。

1,普通UDF

2,弱类型UDAF


弱类型UDAF需要继承UserDefinedAggregateFunction。

3,强类型UDAF

强类型UDAF需要继承自Aggregator,不可注册。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值