SparkSQL(二)

SparkCore编程模型是RDD

SparkSQL编程模型是DataFrame/DataSet

SparkSQL编程入口为SparkSession

select 三种写法

• df.select(“column1”,“column2”)
• df.select(df(“column1”),df(“column2”))
• import spark.implicits._
  val frame = df.select($“column1”, $“column2”)

filter 三种写法

value是数值直接写数值，如果是字符串需要加双引号

frame.where等同于frame.fileter
源码中可以看到where底层也是走的filter===>def where(condition: Column): Dataset[T] = filter(condition)==

• frame.filter(df(“column”)===value).show()
• frame.filter(“column = value”).show()
• frame.filter('column === value).show()

读取数据

读数据：DataFrameReader

1.spark.read.format(“json/text/jdbc…”).load(path)
返回格式为DataFrame

==&#