将DataFrame转为Json文件

json在读取数据的时候会读取schema描述信息,读取全部数据,才能确定类型

写出文件二种方式 

 //df2.write.mode(SaveMode.Append).json("out/boy")
    df2.write.mode(SaveMode.Append).format("json").save("out2/boy")

 读取文件二种方式

   //获取数据的schema信息，每一行都有读取，将描述信息返回Driver端了
    //val df: DataFrame = spark.read.json("data/user.json")

    val df: DataFrame = spark.read.format("json").load("data/user.json")

 

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.types.{DoubleType, IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{DataFrame, Row, SaveMode, SparkSession}

object TXTChangeJSON {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName(this.getClass.getSimpleName).master("local[*]").getOrCreate()

    val sc = spark.sparkContext

    val lines = sc.textFile("