Spark数据源educoder

多多读书~

已于 2022-06-08 11:52:31 修改

阅读量2.9k

点赞数 4

文章标签： spark sql

于 2022-06-07 16:03:31 首次发布

本文链接：https://blog.csdn.net/qq_48664727/article/details/125162708

版权

本文介绍了使用SparkSQL进行数据加载和保存的操作，包括Parquet文件的分区保存、json文件的处理以及通过JDBC读取数据源。内容涵盖加载、保存、统计与展示数据等关键步骤。

摘要由CSDN通过智能技术生成

第1关：SparkSQL加载和保存

在右侧编辑器补充代码，加载people.json文件，以覆盖的方式保存到people路径里，继续加载people1.json文件，以附加的方式保存到people路径里，最后以表格形式显示people里前20行Dataset。

package com.educoder.bigData.sparksql2;

import org.apache.spark.sql.AnalysisException;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;


public class Test1 {
	
	public static void main(String[] args) throws AnalysisException {
		SparkSession  spark  =  SparkSession 
				  .builder()
				  .appName("test1")
				  .master("local")
				  .getOrCreate();
		/********* Begin *********/

		spark.read().format("json").load("people.json").write().mode(SaveMode.Append).save("people");  
        spark.read().format("json").load("people1.json").write().mode(SaveMode.Append).save("peopl