SparkSQL中读取数据和写出数据（附案例）

1.1  Spark 读取数据的统一入口：

• spark.read.format(指定的格式).load(文件的路径)
• 或者spark.read.格式的名称(文件的路径)

1.2  Spark 写出数据的统一出口：

• DataFrame.write.format(保存为什么格式).save(保存到哪个路径)
• 或者DataFrame.write.保存的格式(保存到哪个路径)

1.3  Spark 写出数据有 4 种方式：

• append：如果数据源或者表已经存在，继续追加
• overwrite：如果数据源已经存在，覆盖写出
• ignore：如果数据源已经存在，将忽略(ignore) DataFrame中的数据，如果不存在，则创建并写出。官网的比喻是类似这条SQL语句：create table if not exists
• errorifexists：如果数据源(可以理解为文件)已经存在,将抛出异常

---

2.1  SparkSQL读取数据的综合案例：

from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 创建上下文对象
    spark = Spar