DateFrame算子

可以通过如下语句创建一个SparkSession对象：## 标题

from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession
spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate()

在创建DataFrame时，可以使用spark.read操作，从不同类型的文件中加载数据创建DataFrame：
在读取本地文件或HDFS文件时，要注意给出正确的文件路径

#读取文本文件people.txt创建DataFrame
spark.read.text("people.txt")
spark.read.format("text").load("people.txt")

#读取people.json文件创建DataFrame；
spark.read.json("people.json")
spark.read.format("json").load("people.json")

#读取people.parquet文件创建DataFrame
spark.read.parquet(“people.parquet”)：
spark.read.format("parquet").load("people.parquet")

可以使用spark.write操作，把一个DataFrame保存成不同格式的文件，例如，把一个名称为df的DataFrame保存到不同格式文件中，方法如下：

df.write.text("people.txt")
df.write.format("text").save("people.txt")

df.write.json("people.json“)
df.write.format("json").save("people.json")

df.write.parquet("people.parquet“)
df.write.format ("parquet").save("people.parquet")

DataFrame的常用操作

printSchema()

select()

filter()

groupBy()

sort()

从RDD转换得到DataFrame

利用反射机制推断RDD模式

使用编程方式定义RDD模式