Rdd转换成SparkSQL的DataSet如何指定schema

与RDD进行相互操作

SparkSQL支持两种不同方法将现有RDD转换成DataSets。

第一种方法使用反射来推断包含特定类型对象的RDD的schema。

这种基于反射的方法会导致更简洁的代码，并且在编写Spark应用程序时已经知道schema的情况下可以良好工作

第二种创建Datasets的方法是通过编程接口，允许构建schema,然后将其应用于现在的RDD。

此方法更加详细，但是它允许你在 直到运行时才知道列及其类型的情况下去构建数据集。

 

1.使用反射推断模式：

SparkSQL的scala接口支持自动将包含case class 的RDD转换成DataFrame。case class 定义表的schema。使用反射读取case class  的参数名称，并将其变成列的名称。case class 也可以嵌套或者包含复杂类型，如Seqs或Arrays。此RDD可以隐式转换为DataFrame，然后将其注册为表格，表可以再随后的SQL语句中使用。

 

2.以编程方式指定模式：

当case class 不能提前定义时（例如，记录的结构用字符串编码，或者文本数据集将被解析并且字段对不同的用户值会不同），DataFrame可以以编程的方式通过三个步骤创建。

1.Row从原始RDD创建元素类型为Row的RDD。

2.使用StructType创建一组schema,然后让其匹配步骤1中Rows的类型结构。

3.使用SparkSession提供的方法creatDataFrame,将其schema应用于Rows类型 的RDD