创建一个JSON文件
在/usr/local/spark目录下建立Student.json文件,并录入相应数据
启动Spark Shell
cd /usr/local/spark
./bin/spark-shell
创建一个基本的SparkSession
SparkSession类是Spark中所有功能的入口点。
import org.apache.spark.sql.SparkSession
val spark=SparkSession.builder().getOrCreate()
基于JSON文件的内容创建一个DataFrame
import spark.implicits._
val df = spark.read.json("file:///usr/local/spark/Student.json")
查看DataFrame的所有数据
df.show()
查看“姓名”和“课程”的相关数据
df.select("Name","Course").show()
按“姓名”的分组操作
df.groupBy("Name").count().show()
将DataFrame注册为SQL临时视图
df.createOrReplaceTempView("Student")
调用SQL语句执行数据检索,返回所有的数据
val sqlDF = spark.sql("SELECT * FROM Student")
sqlDF.show()
好了,以上就是Spark SQL的一些基本操作,有哪里不对的地方可以指出来哦