SparkSQL 简化

最新推荐文章于 2024-06-04 23:18:11 发布

大曲·蜗牛

最新推荐文章于 2024-06-04 23:18:11 发布

阅读量136

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/daqu1314/article/details/106520144

版权

spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame(底层也是RDD)并且作为分布式SQL查询引擎的作用。

2.Spark SQL 的特点：1.易整合，2.统一的数据访问，3.兼容Hive，4.标准的数据连接

3.DataFrame：是一种以RDD为基础的分布式数据集，类似于传统数据库的二维表格，DataFrame带有Schema元信息(可以理解为数据库的列名和类型)，即DataFrame所表示的二维表数据集的每一列都带有名称和类型，但底层做了更多的优化。

4.DataSet：它集中了RDD的优点以及Spark SQL优化的执行引擎。与RDD相比，保存了更多的描述信息，概念上等同于关系型数据库中的二维表。 DataFrame其实就是Dateset[Row]

5.RDD、DataFrame、DataSet的区别

RDD[Person]以Person为类型参数，但Spark框架本身不了解 Person类的内部结构。

DataFrame提供了详细的结构信息schema，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。这样看起来就像一张表了

DataSet[Person]中不光有schema信息，还有类型信息

总结

DataFrame = RDD - 泛型 + Schema + SQL + 优化

DataSet = DataFrame + 泛型

DataSet = RDD + Schema + SQL + 优化

DataFrame = DataSet[Row]

6.创建DataFrame

(1)schema+row 的方式

1 zhangsan 20
2 lisi 29
3 wangwu 25
4 zhaoliu 30
5 tianqi 35
6 kobe 40

object processtag2 {

  val path ="E:\\新建文件夹\\person.txt"

  def main(args: Array[String]): Unit = {

    //准备环境
    val spark = SparkSession.builder().master("local[2]").appName("TextRDDApp").getOrCreate()
    //读取文本
    val arrRDD: RDD[Array[String]] = spark.sparkContext.textFile(path).map( x=>x.split(" ") )
   val rddRow =arrRDD.map(x=>{Row(
      x(0).toLong,
      x(1),
      x(2).toLong
    )})

   val schema= StructType(Array(
      StructField("id",LongType,false),
      StructField("name",StringType,false),
      StructField("age",LongType,false)
    ))
    val fileDF: DataFrame = spark.createDataFrame(rddRow,schema)
    fileDF.show()
  }

}

(2)样例类的方式（toDF）

object processtag3 {
  private val mysqldriver = testENV.MYSQLDRIVER
  private val mysqlurl = testENV.MYSQLURL
  private val mysqluser = testENV.MYSQLUSER
  private val mysqlpwd = testENV.MYSQLPWD
  private val mysqltesttable = testENV.MYSQLTESTTABLE
  val mysqltesttable2 = testENV.MYSQLTESTTABLE1
  private val prop = testENV.mysqlProp
  val path ="E:\\新建文件夹\\person.txt"
  def main(args: Array[String]): Unit = {
    val spark=SparkSession.builder()
      .appName("caseDF")
      .master("local[*]")
      .getOrCreate()
    import spark.implicits._
    val arrDS: Dataset[Array[String]] = spark.read.textFile(path).map(x=>x.split(" "))
    val PsersonDS: Dataset[Pserson] = arrDS.map(x=>Pserson(x(0).toInt ,x(1) ,x(2).toInt))
    val DF: DataFrame = PsersonDS.toDF()
    DF.select($"name",$"age").show//DSL风格
    DF.filter($"age">=23).show()//DSL风格
    DF.createOrReplaceTempView("Pserson")
    val tabledata=spark.sql(
      """
        |select * from Pserson
      """.stripMargin)
    tabledata.show()

    PsersonDS.write
      .mode(SaveMode.Append)
      .option("driver", mysqldriver)
      .jdbc(mysqlurl, mysqltesttable2, prop)

  }
case class Pserson (id:Int,name:String,age:Int)
}

7.创建DataSet

(1)createDataset()的方式

object processDS {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("TextRDDApp").getOrCreate()
    val data=   List(Pserson("zhangsan",20),Pserson("lisi",30))
    import spark.implicits._
    val personDS: Dataset[Pserson] = spark.createDataset(data)
    personDS.show()

  }
  case class Pserson (name:String,age:Int)
}

(2)另一种的方式创建DS

object processDS1 {
  val path ="E:\\新建文件夹\\json.json"
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("TextRDDApp").getOrCreate()
    import  spark.implicits._
    val jsonDs: Dataset[Pserson] = spark.read.json(path).as[Pserson]
    jsonDs.show()


  }
  case class Pserson (name:String,age:Long)
}

注意：DataFrame还是DataSet都可以注册成表,之后就可以使用SQL进行查询

8.两种查询风格

(1)DSL风格

personDF.select(personDF.col("id"), personDF.col("name"), personDF.col("age") + 1).show
personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show
personDF.select(col("id"), col("name"), col("age") + 1).show
personDF.select("id","name","age").show
personDF.select($"name",$"age",$"age"+1).show

(2)SQL风格

spark.sql("select name,age+1 from t_person").show
spark.sql("select name,age from t_person where age > 25").show
spark.sql("select count(age) from t_person where age > 30").show
spark.sql("select age, count(age) from t_person group by age").show

如有不全，请多多指导！