Spark: createDataFrame() vs toDF()

在Spark中，有两种不同的方法来创建Dataframe。首先，使用toDF()，其次是使用createDataFrame()。在这篇博客中，我们将看到如何使用这两种方法来创建Dataframe，以及它们之间的具体区别是什么。
toDF()

toDF()方法提供了一个非常简洁的方法来创建一个Dataframe。这个方法可以应用于一连串的对象。为了访问toDF()方法，我们必须在spark session之后导入spark.implicits._。

val empDataFrame = Seq(("Alice", 24), ("Bob", 26)).toDF("name", "age")
empDataFrame: org.apache.spark.sql.DataFrame = [name: string, age: int] 。

在上面的代码中，我们在一个Tuple2序列上应用了toDF()，并向每个元组传递了两个字符串 "name "和 "age"。这两个字符串将被映射为empDataFrame的列。让我们打印一下empDataFrame的模式。

我们可以看到，spark已经为每一列应用了列类型和nullable标志。列名的列类型为字符串，可归零标志为真，同样，列年龄的列类型为整数，可归零标志为假。所以，从上面我们可以得出结论，在toDF()方法中，我们不能控制列的类型和nullable标志。这意味着对模式的定制没有控制。在大多数情况下，toDF()方法只适用于本地测试。
createDataFrame()

createDataFrame()方法解决了toDF()方法的限制。通过createDataFrame()方法，我们可以控制完整的模式定制。

输入org.apache.spark.sql.Row

val empData = Seq(Row("Alice", 24), Row("Bob", 26))
empData: Seq[org.apache.spark.sql.Row] = List([Alice,24], [Bob,26])

让我们为上述empData定义模式。

import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};

val empSchema = List(StructField("name", StringType, true), StructField("age", IntegerType, true))
empSchema。List[org.apache.spark.sql.types.StructField] = List(StructField(name, StringType, true), StructField(age, IntegerType, true) )

empDataFrame的模式已经用StructField的列表定义好了。我们已经向每个StructField传递了三个参数，即列的名称，列的类型，以及一个可忽略的标志。现在，将empData和empSchema传递给createDataFrame()方法并创建empDataFrame。

val empDataFrame = spark.createDataFrame(spark.sparkContext.parallelize(empData), StructType(empSchema))
empDataFrame: org.apache.spark.sql.DataFrame = [name: string, age: int] 。

通过这种方式，我们可以控制列的名称、列的类型和nullable标志。当我们在集群上运行我们的代码或在生产中运行我们的代码时，使用createDataFrame()方法是很好的，因为它有利于本地测试。
总结

createDataFrame()和toDF()方法是在spark中创建DataFrame的两种不同方式。通过使用toDF()方法，我们不能控制模式的定制，而在createDataFrame()方法中，我们可以完全控制模式的定制。使用toDF()方法只能用于本地测试。但我们可以使用createDataFrame()方法进行本地测试，也可以在生产中运行代码。