三种语言实现spark createDataFrame

前言

我们经常需要在本地用数组写一些测试数据，进行spark逻辑测试，需要借助StructType和StructField以及数组生成DataFrame，最终进行测试，这里就简单的用Java、Scala、Python三种语言实现用数组的数据创建DataFrame。

了解StructType和StructField

• StructType
  spark structtype是Spark中的数据结构，用于定义数据集中的结构化数据（如表格数据）的模式。它是一种由多个StructField对象组成的有序列表，每个StructField对象描述了数据集中的一个字段的名称、数据类型和是否可为空。
  我们可以使用StructType来创建和指定数据集的模式。以下是一个使用StructType定义模式的例子：

  import org.apache.spark.sql.types._
  
  val schema = new StructType()
    .add(StructField("name", StringType, nullable = false))
    .add(StructField("age", IntegerType, nullable = true))
    .add(StructField("city", StringType, nullable = true))
  

  在上述示例中，我们创建了一个包含三个字段的模式，分别是"name"（字符串类型，不可为空），“age”（整数类型，可为空）和"city"（字符串类型，可为空&#x