Spark: createDataFrame() vs toDF()

在Spark中，有两种不同的方法来创建Dataframe。首先，使用toDF()，其次是使用createDataFrame()。在这篇博客中，我们将看到如何使用这两种方法来创建Dataframe，以及它们之间的具体区别是什么。
toDF()

toDF()方法提供了一个非常简洁的方法来创建一个Dataframe。这个方法可以应用于一连串的对象。为了访问toDF()方法，我们必须在spark session之后导入spark.implicits._。

val empDataFrame = Seq(("Alice", 24), ("Bob", 26)).toDF("name", "age")
empDataFrame: org.apache.spark.sql.DataFrame = [name: string, age: int] 。

在上面的代码中，我们在一个Tuple2序列上应用了toDF()，并向每个元组传递了两个字符串 "name "和 "age"。这两个字符串将被映射为empDataFrame的列。让我们打印一下empDataFrame的模式。

我们可以看到，spark已经为每一列应用了列类型和nullable标志。列名的列类型为字符串，可归零标志为真，同样，列年龄的列类型为整数，可归零标志为假。所以，从上面我们可以得出结论，在toDF()方法中，我们不能控制列的类型和nullable标志。这意味着对模式的定制没有控制。在大多数情况下，toDF()方法只适用于本地测试。
createDataFrame()

createDataFrame()方法解决了toDF()方法的限制。通过createDataFrame()方法，我们可以控制完整的模式定制。

输入org.apach