sparksql 基础

最新推荐文章于 2023-04-12 14:58:14 发布

影密卫

最新推荐文章于 2023-04-12 14:58:14 发布

阅读量212

点赞数

本文链接：https://blog.csdn.net/weixin_42181200/article/details/80352210

版权

这篇博客介绍了SparkSQL的基础使用，包括如何构建SparkSession，以及使用DSL语法操作数据帧，如显示数据和创建临时视图。

摘要由CSDN通过智能技术生成

package shadow

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SparkSession}
import org.apache.spark.{SparkConf, SparkContext}

// 定义需要放在方法的作用域之外
case class Person(id:Int,name:String,age:Int)

//主方法

object Man {

def main(args: Array[String]): Unit = {

//构建sc

val spark: SparkSession = SparkSession.builder().appName("baidu").master("local[2]").getOrCreate()

val sc: SparkContext = spark.sparkContext

//设置日志级别
sc.setLogLevel("WARN")

//加载数据
val Lines: RDD[Array[String]] = sc.textFile("E:\\ab.txt").map(_.split(" "))
//将RDD与Person类关联
val personRDD: RDD[Person] = Lines.map(x=> Person(x(0).toInt,x(1),x(2).toInt))

//创建DataFrame,必须隐士转换。
import spark.implicits._
val personDF: DataFrame = personRDD.toDF

//DSL语法操作

// personDF.show()

// personDF.printSchema()
// personDF.select("name").show()

//将DataFrame注册成表

personDF.createOrReplaceTempView("t_person")

// spark.sql("select * from t_person" ).show()
// spark.sql("select * from t_person where name='zhangsan'").show()
spark.sql("select * from t_person order by age desc").show()
sc.stop()
}
}