大数据进阶之路——Spark SQL 之 DataFrame&amp；&amp；Dataset_dataframe &amp；&amp；

最新推荐文章于 2024-05-07 18:50:11 发布
最新推荐文章于 2024-05-07 18:50:11 发布
阅读量772 收藏 26
点赞数 29
分类专栏： 程序员 文章标签： 大数据 spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84160361/article/details/138438513
版权 
infoDF.createOrReplaceTempView("infos")
spark.sql("select \* from infos where age > 70").show()

}

case class Info(id: Int, name: String, age: Int)

}

root
|-- id: integer (nullable = true)
|-- name: string (nullable = true)
|-- age: integer (nullable = true)

±–±----±–+
| id| name|age|
±–±----±–+
| 1|hello| 66|
| 2|world| 89|
| 3|spark| 88|
±–±----±–+

±–±----±–+
| id| name|age|
±–±----±–+
| 2|world| 89|
| 3|spark| 88|
±–±----±–+

±–±----±–+
| id| name|age|
±–±----±–+
| 2|world| 89|
| 3|spark| 88|
±–±----±–+


#### 案例

package org.example

import org.apache.spark.sql.SparkSession

/**
* DataFrame中的操作操作
*/
object DataFrameProjectApp {

def main(args: Array[String]) {
val spark = SparkSession.builder().appName(“DataFrameProjectApp”).master(“local[2]”).getOrCreate()

// RDD ==> DataFrame
val rdd = spark.sparkContext.textFile("Student.data")

//注意：需要导入隐式转换
import spark.implicits._
val studentDF = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()

//show默认只显示前20条
studentDF.show
studentDF.show(30)
studentDF.show(30, false)

studentDF.take(10)
studentDF.first()
studentDF.head(3)


studentDF.select("email").show(30,false)


studentDF.filter("name=''").show
studentDF.filter("name='' OR name='NULL'").show


//name以M开头的人
studentDF.filter("SUBSTR(name,0,1)='M'").show

studentDF.sort(studentDF("name")).show
studentDF.sort(studentDF("name").desc).show

studentDF.sort("name","id").show
studentDF.sort(studentDF("name").asc, studentDF("id").desc).show

studentDF.select(studentDF("name").as("student\_name")).show


val studentDF2 = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()

studentDF.join(studentDF2, studentDF.col("id") === studentDF2.col("id")).show

spark.stop()

}

case class Student(id: Int, name: String, phone: String, email: String)

}

±–±-------±-------------±-------------------+
| id| name| phone| email|
±–±-------±-------------±-------------------+
| 1| Burke|1-300-746-8446|ullamcorper.velit…|
| 2| Kamal|1-668-571-5046|pede.Suspendisse@…|
| 3| Olga|1-956-311-1686|Aenean.eget.metus…|
| 4| Belle|1-246-894-6340|vitae.aliquet.nec…|
| 5| Trevor|1-300-527-4967|dapibus.id@acturp…|
| 6| Laurel|1-691-379-9921|adipiscing@consec…|
| 7| Sara|1-608-140-1995|Donec.nibh@enimEt…|
| 8| Kaseem|1-881-586-2689|cursus.et.magna@e…|
| 9| Lev|1-916-367-5608|Vivamus.nisi@ipsu…|
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 11| Emi|1-467-270-1337| est@nunc.com|
| 12| Caleb|1-683-212-0896|Suspendisse@Quisq…|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@…|
| 14| Anika|1-856-828-7883|euismod@ligulaeli…|
| 15| Tarik|1-398-171-2268|turpis@felisorci.com|
| 16| Amena|1-878-250-3129|lorem.luctus.ut@s…|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct…|
| 18| Guy|1-869-521-3230|senectus.et.netus…|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
| 20| Edward|1-711-710-6552|lectus@aliquetlib…|
±–±-------±-------------±-------------------+
only showing top 20 rows

| id| name| phone| email|
±–±-------±-------------±-------------------+
| 1| Burke|1-300-746-8446|ullamcorper.velit…|
| 2| Kamal|1-668-571-5046|pede.Suspendisse@…|
| 3| Olga|1-956-311-1686|Aenean.eget.metus…|
| 4| Belle|1-246-894-6340|vitae.aliquet.nec…|
| 5| Trevor|1-300-527-4967|dapibus.id@acturp…|
| 6| Laurel|1-691-379-9921|adipiscing@consec…|
| 7| Sara|1-608-140-1995|Donec.nibh@enimEt…|
| 8| Kaseem|1-881-586-2689|cursus.et.magna@e…|
| 9| Lev|1-916-367-5608|Vivamus.nisi@ipsu…|
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 11| Emi|1-467-270-1337| est@nunc.com|
| 12| Caleb|1-683-212-0896|Suspendisse@Quisq…|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@…|
| 14| Anika|1-856-828-7883|euismod@ligulaeli…|
| 15| Tarik|1-398-171-2268|turpis@felisorci.com|
| 16| Amena|1-878-250-3129|lorem.luctus.ut@s…|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct…|
| 18| Guy|1-869-521-3230|senectus.et.netus…|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
| 20| Edward|1-711-710-6552|lectus@aliquetlib…|
| 21| |1-711-710-6552|lectus@aliquetlib…|
| 22| |1-711-710-6552|lectus@aliquetlib…|
| 23| NULL|1-711-710-6552|lectus@aliquetlib…|
±–±-------±-------------±-------------------+

±–±-------±-------------±----------------------------------------+
|id |name |phone |email |
±–±-------±-------------±----------------------------------------+
|1 |Burke |1-300-746-8446|ullamcorper.velit.in@ametnullaDonec.co.uk|
|2 |Kamal |1-668-571-5046|pede.Suspendisse@interdumenim.edu |
|3 |Olga |1-956-311-1686|Aenean.eget.metus@dictumcursusNunc.edu |
|4 |Belle |1-246-894-6340|vitae.aliquet.nec@neque.co.uk |
|5 |Trevor |1-300-527-4967|dapibus.id@acturpisegestas.net |
|6 |Laurel |1-691-379-9921|adipiscing@consectetueripsum.edu |
|7 |Sara |1-608-140-1995|Donec.nibh@enimEtiamimperdiet.edu |
|8 |Kaseem |1-881-586-2689|cursus.et.magna@euismod.org |
|9 |Lev |1-916-367-5608|Vivamus.nisi@ipsumdolor.com |
|10 |Maya |1-271-683-2698|accumsan.convallis@ornarelectusjusto.edu |
|11 |Emi |1-467-270-1337|est@nunc.com |
|12 |Caleb |1-683-212-0896|Suspendisse@Quisque.edu |
|13 |Florence|1-603-575-2444|sit.amet.dapibus@lacusAliquamrutrum.ca |
|14 |Anika |1-856-828-7883|euismod@ligulaelit.co.uk |
|15 |Tarik |1-398-171-2268|turpis@felisorci.com |
|16 |Amena |1-878-250-3129|lorem.luctus.ut@scelerisque.com |
|17 |Blossom |1-154-406-9596|Nunc.commodo.auctor@eratSed.co.uk |
|18 |Guy |1-869-521-3230|senectus.et.netus@lectusrutrum.com |
|19 |Malachi |1-608-637-2772|Proin.mi.Aliquam@estarcu.net |
|20 |Edward |1-711-710-6552|lectus@aliquetlibero.co.uk |
|21 | |1-711-710-6552|lectus@aliquetlibero.co.uk |
|22 | |1-711-710-6552|lectus@aliquetlibero.co.uk |
|23 |NULL |1-711-710-6552|lectus@aliquetlibero.co.uk |
±–±-------±-------------±----------------------------------------+

±----------------------------------------+
|email |
±----------------------------------------+
|ullamcorper.velit.in@ametnullaDonec.co.uk|
|pede.Suspendisse@interdumenim.edu |
|Aenean.eget.metus@dictumcursusNunc.edu |
|vitae.aliquet.nec@neque.co.uk |
|dapibus.id@acturpisegestas.net |
|adipiscing@consectetueripsum.edu |
|Donec.nibh@enimEtiamimperdiet.edu |
|cursus.et.magna@euismod.org |
|Vivamus.nisi@ipsumdolor.com |
|accumsan.convallis@ornarelectusjusto.edu |
|est@nunc.com |
|Suspendisse@Quisque.edu |
|sit.amet.dapibus@lacusAliquamrutrum.ca |
|euismod@ligulaelit.co.uk |
|turpis@felisorci.com |
|lorem.luctus.ut@scelerisque.com |
|Nunc.commodo.auctor@eratSed.co.uk |
|senectus.et.netus@lectusrutrum.com |
|Proin.mi.Aliquam@estarcu.net |
|lectus@aliquetlibero.co.uk |
|lectus@aliquetlibero.co.uk |
|lectus@aliquetlibero.co.uk |
|lectus@aliquetlibero.co.uk |
±----------------------------------------+

±–±—±-------------±-------------------+
| id|name| phone| email|
±–±—±-------------±-------------------+
| 21| |1-711-710-6552|lectus@aliquetlib…|
| 22| |1-711-710-6552|lectus@aliquetlib…|
±–±—±-------------±-------------------+

±–±—±-------------±-------------------+
| id|name| phone| email|
±–±—±-------------±-------------------+
| 21| |1-711-710-6552|lectus@aliquetlib…|
| 22| |1-711-710-6552|lectus@aliquetlib…|
| 23|NULL|1-711-710-6552|lectus@aliquetlib…|
±–±—±-------------±-------------------+

±–±------±-------------±-------------------+
| id| name| phone| email|
±–±------±-------------±-------------------+
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 19|Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
±–±------±-------------±-------------------+

±–±-------±-------------±-------------------+
| id| name| phone| email|
±–±-------±-------------±-------------------+
| 21| |1-711-710-6552|lectus@aliquetlib…|
| 22| |1-711-710-6552|lectus@aliquetlib…|
| 16| Amena|1-878-250-3129|lorem.luctus.ut@s…|
| 14| Anika|1-856-828-7883|euismod@ligulaeli…|
| 4| Belle|1-246-894-6340|vitae.aliquet.nec…|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct…|
| 1| Burke|1-300-746-8446|ullamcorper.velit…|
| 12| Caleb|1-683-212-0896|Suspendisse@Quisq…|
| 20| Edward|1-711-710-6552|lectus@aliquetlib…|
| 11| Emi|1-467-270-1337| est@nunc.com|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@…|
| 18| Guy|1-869-521-3230|senectus.et.netus…|
| 2| Kamal|1-668-571-5046|pede.Suspendisse@…|
| 8| Kaseem|1-881-586-2689|cursus.et.magna@e…|
| 6| Laurel|1-691-379-9921|adipiscing@consec…|
| 9| Lev|1-916-367-5608|Vivamus.nisi@ipsu…|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 23| NULL|1-711-710-6552|lectus@aliquetlib…|
| 3| Olga|1-956-311-1686|Aenean.eget.metus…|
±–±-------±-------------±-------------------+

±–±-------±-------------±-------------------+
| id| name| phone| email|
±–±-------±-------------±-------------------+
| 5| Trevor|1-300-527-4967|dapibus.id@acturp…|
| 15| Tarik|1-398-171-2268|turpis@felisorci.com|
| 7| Sara|1-608-140-1995|Donec.nibh@enimEt…|
| 3| Olga|1-956-311-1686|Aenean.eget.metus…|
| 23| NULL|1-711-710-6552|lectus@aliquetlib…|
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
| 9| Lev|1-916-367-5608|Vivamus.nisi@ipsu…|
| 6| Laurel|1-691-379-9921|adipiscing@consec…|
| 8| Kaseem|1-881-586-2689|cursus.et.magna@e…|
| 2| Kamal|1-668-571-5046|pede.Suspendisse@…|
| 18| Guy|1-869-521-3230|senectus.et.netus…|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@…|
| 11| Emi|1-467-270-1337| est@nunc.com|
| 20| Edward|1-711-710-6552|lectus@aliquetlib…|
| 12| Caleb|1-683-212-0896|Suspendisse@Quisq…|
| 1| Burke|1-300-746-8446|ullamcorper.velit…|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct…|
| 4| Belle|1-246-894-6340|vitae.aliquet.nec…|
| 14| Anika|1-856-828-7883|euismod@ligulaeli…|
±–±-------±-------------±-------------------+

±–±-------±-------------±-------------------+
| id| name| phone| email|
±–±-------±-------------±-------------------+
| 21| |1-711-710-6552|lectus@aliquetlib…|
| 22| |1-711-710-6552|lectus@aliquetlib…|
| 16| Amena|1-878-250-3129|lorem.luctus.ut@s…|
| 14| Anika|1-856-828-7883|euismod@ligulaeli…|
| 4| Belle|1-246-894-6340|vitae.aliquet.nec…|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct…|
| 1| Burke|1-300-746-8446|ullamcorper.velit…|
| 12| Caleb|1-683-212-0896|Suspendisse@Quisq…|
| 20| Edward|1-711-710-6552|lectus@aliquetlib…|
| 11| Emi|1-467-270-1337| est@nunc.com|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@…|
| 18| Guy|1-869-521-3230|senectus.et.netus…|
| 2| Kamal|1-668-571-5046|pede.Suspendisse@…|
| 8| Kaseem|1-881-586-2689|cursus.et.magna@e…|
| 6| Laurel|1-691-379-9921|adipiscing@consec…|
| 9| Lev|1-916-367-5608|Vivamus.nisi@ipsu…|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 23| NULL|1-711-710-6552|lectus@aliquetlib…|
| 3| Olga|1-956-311-1686|Aenean.eget.metus…|
±–±-------±-------------±-------------------+

±–±-------±-------------±-------------------+
| id| name| phone| email|
±–±-------±-------------±-------------------+
| 22| |1-711-710-6552|lectus@aliquetlib…|
| 21| |1-711-710-6552|lectus@aliquetlib…|
| 16| Amena|1-878-250-3129|lorem.luctus.ut@s…|
| 14| Anika|1-856-828-7883|euismod@ligulaeli…|
| 4| Belle|1-246-894-6340|vitae.aliquet.nec…|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct…|
| 1| Burke|1-300-746-8446|ullamcorper.velit…|
| 12| Caleb|1-683-212-0896|Suspendisse@Quisq…|
| 20| Edward|1-711-710-6552|lectus@aliquetlib…|
| 11| Emi|1-467-270-1337| est@nunc.com|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@…|
| 18| Guy|1-869-521-3230|senectus.et.netus…|
| 2| Kamal|1-668-571-5046|pede.Suspendisse@…|
| 8| Kaseem|1-881-586-2689|cursus.et.magna@e…|
| 6| Laurel|1-691-379-9921|adipiscing@consec…|
| 9| Lev|1-916-367-5608|Vivamus.nisi@ipsu…|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@…|
| 10| Maya|1-271-683-2698|accumsan.convalli…|
| 23| NULL|1-711-710-6552|lectus@aliquetlib…|
| 3| Olga|1-956-311-1686|Aenean.eget.metus…|
±–±-------±-------------±-------------------+

±-----------+
|student_name|
±-----------+
| Burke|
| Kamal|
| Olga|
| Belle|
| Trevor|
| Laurel|
| Sara|
| Kaseem|
| Lev|
| Maya|
| Emi|
| Caleb|
| Florence|
| Anika|
| Tarik|
| Amena|
| Blossom|
| Guy|
| Malachi|
| Edward|
±-----------+

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Blossom|

| Guy|
| Malachi|
| Edward|
±-----------+

[外链图片转存中…(img-oGyNzpzi-1714795561732)]
[外链图片转存中…(img-Rf7L4Kaa-1714795561732)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84160361
关注
  • 29
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
CC00042.spark——|Hadoop&Spark.V03|——|Spark.v03|spark sql|DataFrame & Dataset创建|
yanqi_vip
04-12 103
一、DataFrame & Dataset 的创建 ### --- DataFrame & Dataset 的创建 ~~~ 不要刻意区分：DF、DS。DF是一种特殊的DS；ds.transformation => df ### --- 由range生成Dataset scala> val numDS = spark.range(5, 100,...
spark rdd转dataframe 写入mysql的实例讲解
01-19
dataframe是在spark1.3.0中推出的新的api，这让spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，据说计算性能更还快了两倍。spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topic名称和sql语句，后台读取自己配置好的内容字段反射成一个class并利用出入的sql对实时数据进行计算，这种情况下不会spark streaming的人也都可以方便的享受到实时计算带来的好处。 　　
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
01-21
代码如下，步骤流程在代码注释中可见： # -*- coding: utf-8 -*- import pandas as pd from pyspark.sql import SparkSession from pyspark.sql import SQLContext from pyspark import SparkContext #初始化数据 #初始化pandas DataFrame df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3']) #打印数据 pri
Spark学习之路【SparkSQL入门解析】
01-07
【一】简介 (本文部分图片来自网络，侵删) Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 【二】特点 【2.1】易整合 Spark SQL可以使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数据，可在Java，Scala，Python和R中使用 【2.2】统一的数据访问方式 DataFrame和SQL提供了一种访问各种数据源的通用方法，包括Hive，Avro，Parquet，ORC，JSON和JDBC。甚至可以跨这些源联接数据 【2.3】兼容Hive Spark SQL支
Spark视频第5课_深入理解Spark RDD&Dataframe;
12-25
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
pandas实现to_sql将DataFrame保存到数据库中
12-26
目的 在数据分析时，我们有中间结果，或者最终的结果，需要保存到数据库中；或者我们有一个中间的结果，如果放到数据库中通过sql操作会更加的直观，处理后再将结果读取到DataFrame中。这两个场景，就需要用到DataFrame的to_sql操作。 具体的操作 连接数据库代码 import pandas as pd from sqlalchemy import create_engine # default engine = create_engine('mysql+pymysql://ledao:ledao123@localhost/pandas_learn') original_data
大数据进阶之路——Spark SQL 之 DataFrame&amp；&amp；Dataset_dataframe &amp；&amp；(1)
最新发布
2401_84164527的博客
05-07 774
(img-mi3lAEts-1715078994117)](img-VxdtIoc1-1715078994117)]* DataFrame中的操作操作。
spark sql Dataset&Dataframe算子大全
zhaolq1024的博客
03-20 5318
目录 Dataset&Dataframe RDD,Dataset,Dataframe互相转换 Dataset&Dataframe算子 show() na() 返回包含null值的行 stat() sortWithinPartitions() sort()&order by() hint() selectExpr() filter&w...
Spark SQL 笔记(19)——spark SQL 总结(2) DataFrame VS SQL
一角残叶的博客
11-18 207
1 DataFrame DataFrame = RDD + Schema DataFrame is just a type alias for Dataset of Row DataFrame over RDD : Catalyst optimization&schemas DataFrame can handle : Text,JSON,Parquet,… Both SQL and ...
anatomy_of_spark_dataframe_api
05-18
该存储库包含用于“数据帧API剖析”会话的示例代码和示例数据。 请按照以下步骤克隆代码并设置计算机。 先决条件 Java Maven的3 2.获取代码 git clone https://github.com/phatak-dev/anatomy_of_spark_dataframe_api 3.建立 mvn clean install 4.测试 然后从代码目录运行以下命令 java -cp target/spark-dataframe-examples.jar com.madhukaraphatak.spark.dataframe.DataFrameExample local 5.加载到IDE 您可以从终端运行所有示例。 如果要从IDE运行，请执行以下步骤 理念14 安装插件。 插件加载后，您可以将其作为加载。 6.最新 请在参加会议之前拉动以获得最新代码。
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
本文来自dongkelun，讲各种情况下的sc.defaultParallelism，defaultMinPartitions，各种情况下创建以及转化。熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些情况的默认分区数为1。如果分区数少，那么并行执行的task就少，特别情况下，分区数为1，即使你分配的Executor很多，而实际执行的Executor只有1个，如果数据
Spark DataFrame
03-07
详细介绍了基于RDD的DataFrame数据结构以及操作接口。
Numpy及Pandas_numpy_pandas_dataframe_python_
09-30
python中的Numpy库和Pandas库以及DataFrame的各种使用范例与演示，里面包含了三种数据集以供测试。
SparkR_DataFrame_Demo:星火
05-30
#SparkR DataFrame Demo for Spark Summit 2015 2015 年 Spark 峰会上展示的“SparkR：Spark 的数据帧抽象层”中的幻灯片、演示和数据。 幻灯片的 Keynote 和 Powerpoint 版本可用。 要运行演示，请确保已安装Spark 1.4。
Spark DataFrame&DataSet
BUPT-WT的博客
11-30 159
1、DataFrame产生背景        Google trend —>DataFrame        DataFrame不是spark SQL提出的，而是早起源于R、python        Spark RDD API  vs MapReduce API       Threshold        R／Pandas                             ...
24.大数据学习之旅——spark手把手带你入门
零零天
01-14 409
Spark介绍 Apache Spark™ is a fast and general engine for large-scale data processing. Spark Introduce Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. Apache Spark...
Spark SQL之DataFrame的纯SQL操作(基于Scala)
景鹏虎晓的博客
11-08 3767
文章目录定义Spark SQLDataset & DataFrameDataFrame的纯SQL操作单行查询模糊查询排序查询分组查询limit（限制返回结果条数）having（分组后过滤）case...when语句pivot（行转列）cube（多维度分组）join表连接查询子查询 定义 Spark SQL 参考文档 官方参考文档 Spark SQL是Spark中一个模块，用以对结构化数据...
SparkSQL_Dataset和DataFrame简介
weixin_42947670的博客
09-06 274
DataFrame和Dataset简介 一、Spark SQL简介 二、DataFrame & DataSet         2.1 DataFrame         2.2 DataFrame 对比 RDDs         2.3 DataSet
spark 系列（八）—— spark sql 之 dataframe和dataset
06-28
Spark SQL中的DataFrame和Dataset是两种非常重要的数据结构，它们都是基于RDD的分布式数据集，但是它们提供了更高级别的API，可以更方便地进行数据处理和分析。 DataFrame是一种类似于关系型数据库中表的数据结构，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值