可以通过如下语句创建一个SparkSession对象:## 标题
from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession
spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate()
在创建DataFrame时,可以使用spark.read操作,从不同类型的文件中加载数据创建DataFrame:
在读取本地文件或HDFS文件时,要注意给出正确的文件路径
#读取文本文件people.txt创建DataFrame
spark.read.text("people.txt")
spark.read.format("text").load("people.txt")
#读取people.json文件创建DataFrame;
spark.read.json("people.json")
spark.read.format("json").load("people.json")
#读取people.parquet文件创建DataFrame
spark.read.parquet(“people.parquet”):
spark.read.format("parquet").load("people.parquet")
可以使用spark.write操作,把一个DataFrame保存成不同格式的文件,例如,把一个名称为df的DataFrame保存到不同格式文件中,方法如下:
df.write.text("people.txt")
df.write.format("text").save("people.txt")
df.write.json("people.json“)
df.write.format("json").save("people.json")
df.write.parquet("people.parquet“)
df.write.format ("parquet").save("people.parquet")
DataFrame的常用操作
printSchema()
select()
filter()
groupBy()
sort()