编程的两种方式执行Spark SQL查询（方式二）

现在我们来实现在自定义程序中编写Spark SQL查询程序。

实现查询的方式有两种：

方式一：通过反射推断schema。

方式二：通过structtype直接指定schema。

这次我们用方式二来实现自定义查询。

具体程序如下：

package cn.allengao.sparksql

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}

object SpecifyingSchema {
  def main(args: Array[String]): Unit = {
    //1、模板代码
    val conf = new SparkConf().setAppName("SQL-typeTwo").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    //2、获取数据
    val linesRDD = sc.textFile(args(0)).map(_.split(","))
    //3、通过StructType指定每个字段的Schema
    val schema = StructType(
      List(
        StructField("id",IntegerType,true),
        StructField("name",StringType,true),
        StructField("colligate",IntegerType,true),
        StructField("attack",IntegerType,true),
        StructField("defense",IntegerType,true)
      )
    )
    //4、将RDD映射到rowRDD
    val rowRDD = linesRDD.map(x=>Row(x(0).toInt,x(1),x(2).toInt,x(3).toInt,x(4).toInt))
    val teamDF = sqlContext.createDataFrame(rowRDD,schema)
    //5、注册表
    teamDF.registerTempTable("t_team")
    //6、查询
    val df = sqlContext.sql("select * from t_team order by colligate desc limit 3")
    //7、输出
    df.write.json(args(1))

    sc.stop()
  }
}

查看运行结果参照方式一进行查询。

对比总结：

1.case class模板类模式可视化比较好。

2.case class模板类参数上限为22个，对于字段多的不能使用。

3.编程方式更适合日常开发。