Spark SQL的使用

Spark SQL的使用
本文主要给出了Spark1.4之前和之后IDE编译的区别

Spark1.4之前

在1.4版本之前table的注册使用的是registerAsTable方法

case class Person(name:String,age:Int)
def main(args: Array[String]): Unit = {
  val sconf = new SparkConf().setMaster("local[5]").setAppName("SQL")
  val sc = new SparkContext(sconf)
  val sqlContext = new org.apache.spark.sql.SQLContext(sc)
  //将rdd隐式转换为schemeRDD
  import sqlContext._
  val people = sc.textFile("D:\\123.txt").map(_.split(","))
              .map(p => Person(p(0),p(1).trim().toInt)).toDF()
  people.registerASTable("people")
  val res = sqlContext.sql("select name,age from peop")
  res.map { t => t(0)+" "+t(1) } collect() foreach { println }
}

Spark1.4及以后

使用registerTempTable取代registerAsTable并且方法所在的包也由sqlContext._ 变为qlContext.implicits._

case class Person(name:String,age:Int)
def main(args: Array[String]): Unit = {
  val sconf = new SparkConf().setMaster("local[5]").setAppName("SQL")
  val sc = new SparkContext(sconf)
  val sqlContext = new org.apache.spark.sql.SQLContext(sc)
  //将rdd隐式转换为schemeRDD
  import sqlContext.implicits._
  val people = sc.textFile("D:\\123.txt").map(_.split(","))
              .map(p => Person(p(0),p(1).trim().toInt)).toDF()
  people.registerTempTable("people")
  val res = sqlContext.sql("select name,age from peop")
  res.map { t => t(0)+" "+t(1) } collect() foreach { println }
}

写在最后，一般我们在集群中直接写Scala时

case class Person(name:String,age:Int)

都是写在程序中的，但是在IDE中就需要放到main函数外面或者直接放到Object外面。