sparkSQL API使用总结

最新推荐文章于 2024-06-20 23:17:06 发布
最新推荐文章于 2024-06-20 23:17:06 发布
阅读量3.5k 收藏 8
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baymax_007/article/details/81324255
版权

一、SparkSession

Spark SQL所有功能入口点是SparkSession，创建SparkSession，仅使用SparkSession.builder()就可以：

import org.apache.spark.sql.SparkSession 

val spark = SparkSession .builder() .appName("Spark SQL basic example") .config("spark.some.config.option", "some-value") .getOrCreate() 

二、创建DataFrames

val df1 = spark.read.json("file:///opt/data/sample_example.json")

注释：

sample_example.json

{"name":"Michael", "age":25,"myScore":[{"score1":19,"score2":23},{"score1":58,"score2":50}]}

{"name":"Andy", "age":30,"myScore":[{"score1":29,"score2":33},{"score1":38,"score2":52},{"score1":88,"score2":71}]}

{"name":"Justin", "age":19,"myScore":[{"score1":39,"score2":43},{"score1":28,"score2":53}]}

从hdfs读取json文件=>val df2 = spark.read.json("hdfs://lee:8020/json/sample_example.json")

df1.show()

+---+--------------------+-------+

|age| myScore| name|

+---+--------------------+-------+

| 25|[[19, 23], [58, 50]]|Michael|

| 30|[[29, 33], [38, 5...| Andy|

| 19|[[39, 43], [28, 53]]| Justin|

+---+--------------------+-------+

df1.printSchema()

root

|-- age: long (nullable = true)

|-- myScore: array (nullable = true)

| |-- element: struct (containsNull = true)

| | |-- score1: long (nullable = true)

| | |-- score2: long (nullable = true)

|-- name: string (nullable = true)

myScore为数组,使用explode展开

val df2 = df1.select(df1("name"),functions.explode(df1("myScore"))).toDF("name","myScore")

df2.show()

+-------+--------+

| name| myScore|

+-------+--------+

|Michael|[19, 23]|

|Michael|[58, 50]|

| Andy|[29, 33]|

| Andy|[38, 52]|

| Andy|[88, 71]|

| Justin|[39, 43]|

| Justin|[28, 53]|

+-------+--------+

df2.printSchema()

root

|-- name: string (nullable = true)

|-- myScore: struct (nullable = true)

| |-- score1: long (nullable = true)

| |-- score2: long (nullable = true)

df2.select("myScore.score1").show()

df2.select(df2("name"),df2("myScore.score2") + 1).show()

+-------+--------------------------------+

| name|(myScore.score2 AS `score2` + 1)|

+-------+--------------------------------+

|Michael| 24|

|Michael| 51|

| Andy| 34|

| Andy| 53|

| Andy| 72|

| Justin| 44|

| Justin| 54|

+-------+--------------------------------+

df2.filter(df2("myScore.score2") > 60).show()

+----+--------+

|name| myScore|

+----+--------+

|Andy|[88, 71]|

+----+--------+

df2.groupBy("name").count().show()

+-------+-----+

| name|count|

+-------+-----+

|Michael| 2|

| Andy| 3|

| Justin| 2|

+-------+-----+

三、临时视图

df2.createOrReplaceTempView("score")

val df3 = spark.sql("select * from score")

df3.show()

+-------+--------+

| name| myScore|

+-------+--------+

|Michael|[19, 23]|

|Michael|[58, 50]|

| Andy|[29, 33]|

| Andy|[38, 52]|

| Andy|[88, 71]|

| Justin|[39, 43]|

| Justin|[28, 53]|

+-------+--------+

四、dataframe与RDD互相转换

1. dataframe=>dataset

dataframe通过类转换为dataset，其中sample.json数据格式如下：

{"umengmac":"f4:f5:db:0a:14:20","os":"2","ot":"中国移动","imsi":"460001991339696","ua":"Redmi Note 4X","mac":"f4:f5:db:0a:14:20","openudid":"a88df41c-ab47-489e-b8d9-464d2237be6e","manufacturer":"Xiaomi","sdkversion":24,"mac_real":"f4:f5:db:0a:14:20","serial":"469bf4b20304","buildv":"2.5.3","imei":"866334030818203","osversion":"7.0","umengid":"e6e32197d5ca339b","romversion":"","androidid":"e6e32197d5ca339b","apn":"4","uid":87642693,"source":"SaleChannelFragment:MainActivity->SpecialOnlyGoodsListFragment:SpecialTabCategoryActivity","channelid":"11","v":"2.5.3"}

{"umengmac":"38:29:5a:9d:32:5f","os":"2","ot":"中国移动","imsi":"460078359353359","ua":"OPPO R9s Plus","mac":"38:29:5a:9d:32:5f","openudid":"90921e49-c28d-4e89-954a-092e2ab394b0","manufacturer":"OPPO","sdkversion":23,"mac_real":"38:29:5a:9d:32:5f","serial":"5249b4d1","buildv":"6.5.4","imei":"864251038839530","osversion":"6.0.1","umengid":"8e5e46efa66d1280","romversion":"V3.0","androidid":"8e5e46efa66d1280","apn":"4","uid":203059434,"dna":"ac8e7d5f021fbd57a1708403ef32272f918cdb4c7f68b9a679b3ea4202409963","source":"SpecialOnlyGoodsListFragment:SpecialTabCategoryActivity->EcoNewRecommendDetailFragment:EcoNewRecommendDetailActivity","channelid":"12","v":"6.5.4","utdid":"Vgaq9amW41wDADE9IbAknwPC"}
import spark.implicits._

val df4 = spark.read.json("/opt/data/sample.json").as[PageView]

case class PageView(umengmac:String, os:String,

ot:String, imsi:String, ua:String,

mac:String, openudid:String,

manufacturer:String,

sdkversion:String, mac_real:String,

serial:String, buildv:String,

imei:String, osversion: String,

umengid:String, romversion:String,

androidid:String, apn:String,

uid: String, source:String,

channelid:String, v:String)

df4.show()

+----------------+---+------+---------+--------------------+---------------+---------------+-----------------+-----------------+------------+--------------------+---+---------+----+----------+----------+------------+--------------------+-------------+---------+----------------+-----------------+--------------------+-----+

| androidid|apn|buildv|channelid| dna| imei| imsi| mac| mac_real|manufacturer| openudid| os|osversion| ot|romversion|sdkversion| serial| source| ua| uid| umengid| umengmac| utdid| v|

+----------------+---+------+---------+--------------------+---------------+---------------+-----------------+-----------------+------------+--------------------+---+---------+----+----------+----------+------------+--------------------+-------------+---------+----------------+-----------------+--------------------+-----+

|e6e32197d5ca339b| 4| 2.5.3| 11| null|866334030818203|460001991339696|f4:f5:db:0a:14:20|f4:f5:db:0a:14:20| Xiaomi|a88df41c-ab47-489...| 2| 7.0|中国移动| | 24|469bf4b20304|SaleChannelFragme...|Redmi Note 4X| 87642693|e6e32197d5ca339b|f4:f5:db:0a:14:20| null|2.5.3|

|8e5e46efa66d1280| 4| 6.5.4| 12|ac8e7d5f021fbd57a...|864251038839530|460078359353359|38:29:5a:9d:32:5f|38:29:5a:9d:32:5f| OPPO|90921e49-c28d-4e8...| 2| 6.0.1|中国移动| V3.0| 23| 5249b4d1|SpecialOnlyGoodsL...|OPPO R9s Plus|203059434|8e5e46efa66d1280|38:29:5a:9d:32:5f|Vgaq9amW41wDADE9I...|6.5.4|

+----------------+---+------+---------+--------------------+---------------+---------------+-----------------+-----------------+------------+--------------------+---+---------+----+----------+----------+------------+--------------------+-------------+---------+----------------+-----------------+--------------------+-----+
val df5 = spark

.sparkContext

.textFile("/opt/data/keyword_catalog_day.csv")

.map(_.split(","))

.map(attributes=>Keyword(attributes(0),attributes(1).toInt,attributes(3),attributes(4).toDouble,attributes(5).toDouble)).toDF()

val df6 = spark.sql("select keyword,app_id,catalog_name,keyword_catalog_pv,keyword_catalog_pv_rate from keyword where app_id = 1")

df6.map(row => "keyword:" + row(0)).show(3)

+-------------+

| value|

+-------------+

| keyword:孕妇装|

|keyword:哺乳衣外出|

| keyword:孕妇裤|

+-------------+

2. rdd=>dataframe

根据反射弧推断schema，将元素类型为case class的RDD自动转化为DataFrame,case class定义表模式

row=>Map[K,V],注意org.apache.spark.sql.Encoders.kryo隐式转换

对于不能预先定义case class,采用编码指定模式:

  • 原始RDD=>Row RDD
  • 根据row结构创建对应的StructType模式
  • 通过SparkSession提供的createDataFrame来把第2步创建模式应用到第一部Row RDD中
val schemaString = "keyword,app_id,catalog_name,keyword_catalog_pv,keyword_catalog_pv_rate"

val fields = schemaString.split(",").map(fieldName=>StructField(fieldName, StringType, nullable = true))

val schema = StructType(fields)

val rd1 = spark.sparkContext.textFile("/opt/data/keyword_catalog_day.csv").map(_.split(","))

.map(row=>Row(row(0),row(1),row(2),row(3),row(4)))

val df7 = spark.createDataFrame(rd1,schema)

df7.createOrReplaceTempView("keyword_catalog_day")

val df8 = spark.sql("select * from keyword_catalog_day")

df8.show()

+--------------------+------+------------+------------------+-----------------------+

| keyword|app_id|catalog_name|keyword_catalog_pv|keyword_catalog_pv_rate|

+--------------------+------+------------+------------------+-----------------------+

| 睡袋| 2| 母婴| 43| 0.00401982|

| 吸奶器| 2| 母婴| 25| 0.00233710|

| 纸巾| 2| 居家日用| 22| 0.00205665|

+--------------------+------+------------+------------------+-----------------------+

五、通用加载和保存

通用加载(json,parquet,jdbc,orc,libsvm,csv,text)

val df9 = spark.read.load("/opt/data/users.parquet")

df9.select("name","favorite_color").write.save("nameAndFavoriteColors.parquet")

save mode:

SaveMode.ErrorIfExists=>将dataframe保存到data

source，如果数据源已经存在，则会抛异常

SaveMode.Append=>如果数据源已经存在，则会追加现有数据

SaveMode.OverWrite=>覆盖数据

SaveMode.Ignore=>则保存数据，并不更改现有内容，相当于create tableif not exists *

df9.select("name","favorite_color").write.mode(SaveMode.Append).save("nameAndFavoriteColors.parquet")

六、分桶、排序和分区

1. 基于文件数据源，可以对output进行partition/bucket/sort

bucket和sort仅适用persistent table

df5.write

.mode(SaveMode.Overwrite)

.partitionBy("app_id")

.bucketBy(10,"keyword")

.sortBy("keyword_catalog_pv_rate")

.saveAsTable("keyword_bucket")



val df10 = spark.read.table("keyword_bucket")

df10.show()

df10.printSchema()

+-------+------------+------------------+-----------------------+------+

|keyword|catalog_name|keyword_catalog_pv|keyword_catalog_pv_rate|app_id|

+-------+------------+------------------+-----------------------+------+

| 风扇| 79| 8.1931E-4| 2.0180502E7| 1|

| 男童凉鞋| 79| 8.1931E-4| 2.0180502E7| 1|

| 隔离霜| 50| 5.1855E-4| 2.0180502E7| 1|

+-------+------------+------------------+-----------------------+------+



root

|-- keyword: string (nullable = true)

|-- catalog_name: string (nullable = true)

|-- keyword_catalog_pv: double (nullable = true)

|-- keyword_catalog_pv_rate: double (nullable = true)

|-- app_id: integer (nullable = true)

七、Schema Merging(模式合并)

parquet支持模式演进，用户可以从simple

schema，根据需要逐渐向schema添加更多的columns

读取parquet文件，将data source optinon(数据源选项)

设置为true或将global SQL option(全局SQL选项)spark.sql

.parquet.mergeSchema设置为true

val squareDF = spark.sparkContext

.makeRDD(1 to 5)

.map(i =>(i, i * i))

.toDF("value","square")

squareDF.write.mode(SaveMode.Overwrite).parquet("data/test_table/key=1")

val cubeDF = spark.sparkContext

.makeRDD(6 to 10)

.map(i=>(i, i * i * i))

.toDF("value","cube")

cubeDF.write.mode(SaveMode.Overwrite).parquet("data/test_table/key=2")



val mergedDF = spark.read.option("mergeSchema", "true").parquet("data/test_table")

mergedDF.printSchema()

root

|-- value: integer (nullable = true)

|-- square: integer (nullable = true)

|-- cube: integer (nullable = true)

|-- key: integer (nullable = true)

八、hive表加载

创建hive表，无法指定存储处理，可以在hive端创建

示例1：create table keywords(keyword string,catalog_name string) using hive options(fileFormat 'textFile', filedDelim ',')

示例2：create table keywords(keyword string,catalog_name string) row format delimited fields terminated by ','

spark.sql("drop table keywords")

spark.sql("create table if not exists keywords (keyword String,app_id Int,catalog_name String,keyword_catalog_pv Double,keyword_catalog_pv_rate Double) row format delimited fields terminated by ','")

spark.sql("load data local inpath '/opt/data/keyword_catalog_day.csv' into table keywords")

spark.sql("select * from keywords").show()

+--------------------+------+------------+------------------+-----------------------+

| keyword|app_id|catalog_name|keyword_catalog_pv|keyword_catalog_pv_rate|

+--------------------+------+------------+------------------+-----------------------+

| 睡袋| 2| 母婴| 43.0| 0.00401982|

| 吸奶器| 2| 母婴| 25.0| 0.0023371|

| 纸巾| 2| 居家日用| 22.0| 0.00205665|

+--------------------+------+------------+------------------+-----------------------+

九、jdbc连接其他数据库

两种方式：

(1)spark.read.format(..).options(..).load()

(2)spark.read.jdbc(..)

  • numPartitions:读写并行度的最大分区数
  • fetchszie:(读)确定每次数据往返传递行数
  • batchsize:(写)确定每次数据往返传递行数

注意：mysql8.0.11驱动由com.mysql.jdbc.Driver改为com.mysql.cj.jdbc.Driver

val url = "jdbc:mysql://lee:3306/meiyou?createDatabaseIfNotExist=true&useSSL=false"

val tableName = "user_pro"

val predictes = Array("age < 20","age >= 20 and age <26", "age >=26")

val prop = new java.util.Properties()

prop.setProperty("user","root")

prop.setProperty("password","EOSspark123")

prop.setProperty("driver","com.mysql.cj.jdbc.Driver")

val df11 = spark.read.jdbc(url,tableName,predictes,prop)



val df11 = spark.read

.format("jdbc")

.option("url", "jdbc:mysql://lee:3306/meiyou?createDatabaseIfNotExist=true&useSSL=false")

.option("driver","com.mysql.cj.jdbc.Driver")

.option("dbtable","user_pro")

.option("user","root")

.option("password","EOSspark123")

.load()

df11.show()

df11.printSchema()

+---------+-----------+---------+---+----------+------+----------+------------------------+---------------+---------+------+--------+-----+---------+-----------+

| uid| ceil| qq|age| birthday|height|is_married|duration_of_menstruation|menstrual_cycle|star_sign|weight|province| city|recipient| recip_ceil|

+---------+-----------+---------+---+----------+------+----------+------------------------+---------------+---------+------+--------+-----+---------+-----------+

|2***1|1***6| | 19|12-21| 16| false| 5| 128| 11| 5.7| 江苏省| ***市| 朱*|1***6|

| 7***6|1***0| | 18|01-04| 11| false| 5| 228| 12| 5.0| 浙江省| ***市| 郑*|1***0|

| 7***3|1***3| | 19|10-18| 16| false| 7| 630| 9| 4.6| 湖南省| ***市| 张*|1***3|

+---------+-----------+---------+---+----------+------+----------+------------------------+---------------+---------+------+--------+-----+---------+-----------+



root

|-- uid: integer (nullable = true)

|-- ceil: string (nullable = true)

|-- qq: string (nullable = true)

|-- age: integer (nullable = true)

|-- birthday: string (nullable = true)

|-- height: double (nullable = true)

|-- is_married: boolean (nullable = true)

|-- duration_of_menstruation: integer (nullable = true)

|-- menstrual_cycle: integer (nullable = true)

|-- star_sign: integer (nullable = true)

|-- weight: double (nullable = true)

|-- province: string (nullable = true)

|-- city: string (nullable = true)

|-- recipient: string (nullable = true)

|-- recip_ceil: string (nullable = true)

十、自定义函数UDF、UDAF和UDTF

/**

* UDF函数：表单行转换

* 身高，体重=>BMI指数=体重(kg)/身高(m)的平方

*/

spark.udf.register("get_bmi",(weight:Double, height:Double)=>{

val ht = if(height > 100) height/100 else height

weight/Math.pow(ht, 2)

})

val df13 = spark.sql("select *,get_bmi(weight, " +

"height) bmi from user_pro")

df13.show()

df13.printSchema()

UDAF函数

弱类型:需要继承UserDefineAggregateFunction并实现相关方法，比较灵活

强类型：需要继承Aggregator并实现相关方法,适合json加载



spark.udf.register("get_average",new AverageAge1)

val df14 = spark.sql("select province,get_average" +

"(age) age1 from user_pro group by province")

df14.show()

df14.printSchema()

+--------+------------------+

|province| age1|

+--------+------------------+

| 西藏自治区|23.444444444444443|

| 北京市| 23.21028334925183|

| 辽宁省|23.036282771535582|

+--------+------------------+



val df15 = spark.sql("select * from user_pro").as[UserPor]

val aver = new Average2().toColumn.name("age2")

val df16 = df15.select(aver)

df16.show()

df16.printSchema()

root

|-- province: string (nullable = true)

|-- age1: double (nullable = true)



+----------------+

| age2|

+----------------+

|22.6388599958394|

+----------------+



root

|-- age2: double (nullable = false)



/**

* UDAF弱类型

*/

class AverageAge1 extends UserDefinedAggregateFunction{

// 输入数据

override def inputSchema: StructType = StructType(StructField("age",IntegerType)::Nil)



// 每个分区共享变量

override def bufferSchema: StructType = StructType(StructField("sum", IntegerType) :: StructField("count", IntegerType) :: Nil)



// UDAF的输出类型

override def dataType: DataType = DoubleType



// 表示如果有相同的输入是否存在相同的输出，如果是则true

override def deterministic: Boolean = true



// 初始化每个分区中的 共享变量

override def initialize

(buffer: MutableAggregationBuffer): Unit = {

buffer(0) = 0

buffer(1) = 0

}



// 每一个分区中的每一条数据 聚合的时候需要调用该方法

override def update(buffer: MutableAggregationBuffer, input: Row): Unit = {

// 获取这一行中的年龄，然后将年龄加入到sum中

buffer(0) = buffer.getInt(0) + input.getInt(0)

// 将年龄的个数加1

buffer(1) = buffer.getInt(1) + 1

}



// 将每一个分区的输出合并，形成最后的数据

override def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = {

// 合并总的年龄

buffer1(0) = buffer1.getInt(0) + buffer2.getInt(0)

// 合并总的年龄个数

buffer1(1) = buffer1.getInt(1) + buffer2.getInt(1)

}



// 给出计算结果

override def evaluate(buffer: Row): Any = {

// 取出总的年龄 / 总年龄个数

buffer.getInt(0).toDouble / buffer.getInt(1)

}

}



/**

* UDAF强类型

*/

class Average2 extends Aggregator[UserPor, Aver, Double]{

// 初始化方法 初始化每一个分区中的 共享变量

override def zero: Aver = Aver(0, 0)



// 每一个分区中的每一条数据聚合的时候需要调用该方法

override def reduce(b: Aver, a: UserPor): Aver = {

b.sum = b.sum + a.age

b.count = b.count + 1

b

}



// 将每一个分区的输出 合并 形成最后的数据

override def merge(b1: Aver, b2: Aver): Aver = {

b1.sum = b1.sum + b2.sum

b1.count = b1.count + b2.count

b1

}



// 给出计算结果

override def finish(reduction: Aver): Double = {

reduction.sum.toDouble / reduction.count

}



// 主要用于对共享变量进行编码

override def bufferEncoder: Encoder[Aver] = Encoders.product



// 主要用于将输出进行编码

override def outputEncoder: Encoder[Double] = Encoders.scalaDouble

}

case class UserPor(uid:Int,ceil:String,qq:String,

age:Int,birthday:String,

height:Double,is_married:Int,

duration_of_menstruation:Int,

menstrual_cycle:Int,star_sign:Int,

weight:Double,province:String,city:String,

recipient:String,recip_ceil:String)

case class Aver(var sum: Int, var count: Int)

 

Mr_哲
关注
专栏目录
Spark--------------------------sparkSQL知识点总结与hive类比
weixin_43740680的博客
08-08 333
1.spark模块 spark Core类比于MapReduce框架，对海量数据进行分析处理，分布式（并行计算） 核心：数据结构： RDD（弹性分布式数据集） a.转换函数 transformation 调用函数之后，将一个RDD转成另外一个RDD . b.Action函数 触发一个Job的执行 （1）将分析结果返回给Driver count，first，take，collec...
Spark SQL API
xiaoxionghanhan的博客
11-16 674
Spark SQL架构 Spark SQL是Spark的核心组件之一（2014.4 Spark1.0） 能够直接访问现存的Hive数据 提供JDBC/ODBC接口供第三方工具借助Spark进行数据处理 提供了更高层级的接口方便地处理数据 支持多种操作方式：SQL、API编程 支持多种外部数据源：Parquet、JSON、RDBMS等 SparkContext SQLContext：Spark SQL的编程入口 HiveContext：SQLContext的子集，包含更多功能 SparkSession（Spa
[Spark][spark_sql]#3_SparkSQL API
PigCircle
10-29 182
SparkSession import org.apache.spark.sql.{DataFrame, SparkSession} bject SparkSessionApp { def main(args: Array[String]): Unit = { // DF/DS编程的入口点 val spark: SparkSession = SparkSession.b...
Spark SQL基本使用
最新发布
m0_63063186的博客
06-20 566
​ Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​ Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。
SparkSQLAPI
m0_51388399的博客
05-06 291
SparkSQL对数据的落地保存使用api为：spark.write.save()，需要指定数据的落地格式，因为和read的默认格式一样，save的默认格式也是parquet，需要在write和save之间指定具体的格式format(format)。spark.read.format(数据文件格式).load(path)这个方式有更加清晰的简写方式，比如要加载json格式的文件：spark.read.json(path)。可以采用SaveMode执行存储操作，SaveMode定义了对数据的处理模式。
Spark SQL API -- DSL
赤兔胭脂小吕布的博客
03-11 121
Spark SQL API DSL 代码 --> DSL <-- SQL package com.shujia.sql import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.{DataFrame, SparkSession} object Demo5DSL { def main...
Spark(六) SQL API
得克特
10-22 199
汇总 Spark SQL和DataFrames的重要类： pyspark.sql.SparkSession DataFrame和SQL功能的主要入口点。 pyspark.sql.DataFrame 分布式数据集合，分为命名列。 pyspark.sql.Column DataFrame的列表达式。 pyspark.sql.Row DataFrame的行表达式。 pyspark.sql.Group...
SparkSQL总结
Arsenar7的博客
04-22 738
一.SparkSQL介绍： 1.简单来说，Hive是Shark的前身，Shark则是SparkSQL的前身,SparkSQL产生的原因则是由于Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成。SparkSQL抛弃了原有Shark的代码，汲取了Sha...
SparkSql概念和API操作
徐磊的博客
02-03 832
目录 一、学习Spark SQL必要性 二、SparkSQL的几大特点 易整合 统一的访问形式 兼容Hive 标准的数据连接 三、API操作 3.1、从mysql数据库获取数据 3.2、从HDFS/本地 上获取数据(因为获取的光是数据，所以需要额外创建schema) 3.3、用spark展示hive表 四、SparkRDD和SparkSql的区别 一、学习Spark SQ...
SparkSQL知识点总结
默主归沙的博客
06-06 3962
零基础学sparksql
Spark总结（SparkSQL）
weixin_43681796的博客
04-24 696
什么是SaparkSQL？ SaprkSQL是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataSet并且作为分布式SQL查询引擎的作用。 SparkSQL的由来 我们学过Hive，它是将Hive SQL转化为MapReduce然后提交集群上去运行，大大简化了编写MapReduce的程序的复杂性，但是由于计算的时候效率比较慢。所以SparkSql应运而生（刚...
SparkSQL的jdbc操作及java的api操作
03-19
关于SparkSQL的jdbc操作及java的api操作的Idea maven工程代码。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
Spark：SparkSQL学习总结
Jodness' Blogs
08-06 2419
目录 1、SparkSQL概述 1.1、SparkSQL是什么 1.2、Spark SQL 的特点 1.3、RDD/DataFrame/DataSet 1.3.1、RDD 1.3.2、DataFrame 1.3.3、DataSet 1.3.4、三者的共同点/区别 1.4、SparkSQL执行流程 2、SparkSQL查询解析 2.1、SparkSession 2.2、Dat...
Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF
qq_43192537的博客
12-01 712
Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF
编写SparkSQL的API
Faded1573606285的博客
11-11 154
IDEA中程序的打包和运行方式都和SparkCore类似，Maven依赖中需要添加新的依赖项： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.1....
SparkSql常用API
weixin_37901366的博客
07-14 472
【代码】SparkSql常用API。
spark sql核心API整理
勇敢前行,一路向前
03-22 551
核心API: sparkSession: spark入口 统一封装SparkConf,SparkContext,SQLContext, 配置运行参数,读取文件,创建数据,使用SQL Dataset: 统一Dataset接口,其中DataFrame==Dataset[Row] 基本实现了类似RDD的所有算子 column: Dataset的列对象 包括对列操作的基本函数 ROW : DataFrame的行对象 包括对行操作的基本函数 Encoder : 序列化 支持常用的数据...
1３ | Spark SQL 的 DataFrame API
微信号：RunsenLiu
09-03 806
DataFrame 是 Spark SQL 中的核心数据结构，它是一个分布式的带有命名列的数据集，类似于传统数据库表或 Pandas 数据帧。DataFrame API 提供了多种操作和转换方法，包括选择、过滤、分组、聚合、连接等，用于处理和分析数据。：将数据按照一个或多个列进行分组，然后对每个组进行聚合操作（如计数、平均值、总和等）。：连接两个或多个 DataFrame，可以进行内连接、外连接等不同类型的连接操作。：选择一个或多个列以构建新的 DataFrame。：将多个列的值合并成一个新的列。
大数据课程K22——Spark的SparkSQL的API调用
u013955758的专栏
09-05 662
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州。//将结果输出到linux的本地目录下，当然，也可以输出到HDFS上。1. 打开scala IDE开发环境，创建一个scala工程。⚪ 掌握Spark的通过api使用SparkSQL；5）打jar包，并上传到linux虚拟机上。2. 导入spark相关依赖jar包。一、通过api使用SparkSQL。3. 创建包路径以object类。6）在spark的bin目录下。
sparksql 和sparkapi
08-11
SparkSQL和Spark API是Spark框架中两个不同的组件。 Spark SQL是一个用于处理结构化数据的模块，它提供了一种编程接口，让用户可以使用SQL语句或者DataFrame API来查询和分析数据。它支持多种数据源，包括Hive、Avro、Parquet等，并且可以与其他Spark组件无缝集成。Spark SQL还提供了一种称为Catalyst的优化器，可以对查询进行优化。 Spark API是Spark框架中的核心API，它提供了一系列用于分布式数据处理的函数和操作符。用户可以使用Spark API来编写自定义的分布式数据处理逻辑，包括数据的加载、转换、计算和存储等。Spark API支持多种编程语言，包括Scala、Java、Python和R。 总结而言，Spark SQL是通过SQL语句和DataFrame API来处理结构化数据的模块，而Spark API是Spark框架中的核心API，用于编写分布式数据处理逻辑。它们可以互相配合使用，根据具体的需求选择合适的接口来操作数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值