Spark 2.2.1 JSON 数据集操作的案例与解读

Spark 2.2.1 JSON 数据集操作的案例与解读

Spark SQL可以自动推导出一个JSON数据集的Schema并加载构建一个DataFrame/DataSet，可以通过以下方法实现：

• 使用spark.read.json(path)加载：从一个 JSON 文件的目录加载数据，文件中的每一行都对应一个 JSON 对象。
•  使用spark.read.json(json(jsonDataset:Dataset[String])加载：从一个现有的 Dataset[String]加载数据，Dataset[String]中的每一个元素都是一个包含一个JSON