SparkSQL 之 RDD转为DataSet的两种方式

最新推荐文章于 2024-09-17 00:19:55 发布

生命不息丶折腾不止

最新推荐文章于 2024-09-17 00:19:55 发布

阅读量8.3k

点赞数 1

分类专栏： spark 文章标签： spark dataset

本文链接：https://blog.csdn.net/leen0304/article/details/78909810

版权

本文探讨了Spark SQL将RDD转换为DataSet的两种方法：一是利用反射推断Schema，适用于javabean的RDD转换；二是编程指定Schema，适合于无法预定义JavaBean或需要动态解析的情况。通过创建JavaBean、创建StructType模式以及使用createDataFrame方法，可以实现RDD到DataSet的转换。

摘要由CSDN通过智能技术生成

DataFrame可以从结构化文件、hive表、外部数据库以及现有的RDD加载构建得到。这里主要针对从现有的RDD来构建DataFrame进行实践与解析。

Spark SQL支持将现有的RDDs转换为DataSet的两种不同的方法。

 第一种方法是使用反射来推断包含特定对象类型的RDD的模式。在写Spark程序的同时，已经知道了模式，这种基于反射的方法可以使代码更简洁并且程序工作得更好。

第二种方法是通过一个编程接口来实现，这个接口允许构造一个模式，然后在存在的RDD上使用它。虽然这种方法代码较为冗长，但是它允许在运行期间之前不止列以及列的类型的情况下构造DataSet。

利用反射推断Schema

Spark SQL支持将javabean的RDD自动转换为DataFrame。使用反射获得的BeanInfo定义了表的模式。目前，Spark SQL不支持包含Map字段的javabean。但是支持嵌套的javabean和列表或数组字段。您可以创建一个实现Serializable的类并为其所有字段设置getter和setter，从而创建一个JavaBean。

1、JavaBean的创建

  public static class Person implements Serializable {
   
    private String name;
    private int age;

    public String getName() {
      return name;
    }

    public void setName(String name) {
      this.name = name;
    }

    public int getAge() {
      return age;
    }

    public