spark的DataFrame和DataSet

创建DataSet的几种方式:

1、读取文件的方式创建

在这里插入图片描述

只有一列,每一列对应文本的一行数据:
在这里插入图片描述
DataSet既可以进行RDD的一些操作,又可以进行DataFrame的一些操作:
在这里插入图片描述
如果是DataFrame就不能简单的进行上述操作。
在这里插入图片描述

2、通过自定义类来创建

在这里插入图片描述
在这里插入图片描述

3、通过RDD创建

在这里插入图片描述

4、通过DF创建

在这里插入图片描述
一般DF转DS用的少。
下面这种方式简单:
在这里插入图片描述

DataFrame的创建方式

1、DS转DF

在这里插入图片描述

2、RDD转DF

在这里插入图片描述

将DF注册成临时表:
在这里插入图片描述
通过spark SQL进行操作:
在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读