spark sql 类型转换array_Spark SQL，如何将 DataFrame 转为 json 格式

今天主要介绍一下如何将 Spark dataframe 的数据转成 json 数据。用到的是 scala 提供的 json 处理的 api。

用过 Spark SQL 应该知道，Spark dataframe 本身有提供一个 api 可以供我们将数据转成一个 JsonArray，我们可以在 spark-shell 里头举个栗子来看一下。

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder().master("master").appName("test").config("spark.sql.warehouse.dir", warehouseLocation).enableHiveSupport().getOrCreate();

//提供隐式转换功能，比如将 Rdd 转为 dataframe

import spark.implicits._

val df:DataFrame = sc.parallelize(Array(("abc",2),("efg",4))).toDF()

df.show()

/*-------------show -----------

+---+---+

| _1| _2|

+---+---+

|abc| 2|

|efg| 4|

+---+---+

*/

//这里使用 dataframe Api 转换成 jsonArray

val jsonStr:String = a.toJSON.collectAsList.toString

/*--------