Spark SQL读取JSON案例以及存在的坑

Spark可以读取JSON，将其转换为DataFrame （ DataFrame[Row] ）

Spark SQL可以自动推断JSON的schema，但是如果显式的提供模式可以避免额外的扫描

需要注意是：如果是读取JSON文件，提供的json文件不是典型的JSON文件，而是每行属于合法的JSON，然后用分隔符分割，具体规则：http://jsonlines.org/

官网Demo地址：http://spark.apache.org/docs/latest/sql-data-sources-json.html

读取JSON文件

// 以下是测试文件的json
//{"id": 1, "name": "mwf", "age": 23}
//{"id": 2, "name": "zqr", "age": 23}

val structType = new StructType()
    .