超级会员免费看
Spark 2.2.1 JSON 数据集操作的案例与解读
Spark SQL可以自动推导出一个JSON数据集的Schema并加载构建一个DataFrame/DataSet，可以通过以下方法实现：
- 使用spark.read.json(path)加载：从一个 JSON 文件的目录加载数据，文件中的每一行都对应一个 JSON 对象。
- 使用spark.read.json(json(jsonDataset:Dataset[String])加载：从一个现有的 Dataset[String]
本文介绍了Spark 2.2.1中处理JSON数据集的方法，包括使用`spark.read.json()`从文件或Dataset[String]加载数据，并展示了如何自动推导Schema。通过案例展示了如何构建DataFrame，执行SQL操作，如根据Name Group By，统计Address.city的个数，并按数量Order By。此外，还提及了一本关于Spark大数据实战的畅销书籍。
订阅专栏 解锁全文
扫一扫
7295
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
