Spark(22) -- Spark SQL -- DataFrame常用操作(DSL风格、SQL风格及花式查询汇总)

最新推荐文章于 2024-05-16 19:50:37 发布
最新推荐文章于 2024-05-16 19:50:37 发布
阅读量749 收藏 1
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108942207
版权
本文详细介绍了Spark DataFrame的DSL风格和SQL风格操作，包括查看数据、筛选、分组、注册为表等功能。示例展示了如何查看部分字段、过滤条件、统计和查询等操作。
摘要由CSDN通过智能技术生成

1. DSL风格语法

DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。
下面是一些使用示例

1.1 查看DataFrame当中的数据

查看DataFrame中的内容，通过调用show方法

scala> personDF.show

1.2 查看DataFram当中部分字段的数据

第一种方式查看name字段数据
查看name字段的数据

scala> personDF.select(personDF.col("name")).show

第二种方式查看name字段数据
查看name字段的另一种写法

scala> personDF.select("name").show
了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
sparksql实现多表关联查询
u013013024的博客
11-09 1万+
1.准备数据以json格式为例 student表 {"sid":"S001","sanme":"zhangsan","age":"12","gender":"female"} {"sid":"S002","sanme":"lisi","age":"13","gender":"male"} {"sid":"S003","sanme":"wangwu","age":"14","gender":
SparkSQL（11）DataFrame基本API的操作-2-(DSL)
小蚯蚓的博客
11-03 1002
1.DataFrame基本操作API （1）casewhen PersonDF.select(PersonDF.col("empName"),PersonDF.col("salary"), when(PersonDF.col("salary") <= 2000,"底薪") .when(PersonDF.col("salary") > 2000 &amp
Spark-Scala语言实战（18）SQL-DataFrame方法
最新发布
qq_49513817的博客
05-16 1852
这篇文章我会带着大家学习Spark SQL中的DataFrame中show()，selectExpr()，select()，filter()/where，groupBy()，sort()6种方法。了解Spark SQL以及DataFrame。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
Spark SQL/DSL
weixin_44133605的博客
05-31 2125
文章目录前言一、SparkSession1、SparkSession介绍2、SparkSession构建3、sql与dsl实现词频统计4、spark开发形式发展二、DataFrame1.dataframe概述2.dataframe编程3、dataframe函数4、Catalyst 优化器5、spark读写外部数据源1、从本地文件系统加载JSON格式数据，保存为Parquet格式：2、加载文本数据和保存数据到文本文件中：3、加载文本JSON格式数据，并保存：4、加载Parquet格式数据包保存数据为Parqu
Spark DataFrame的DSL操作
feizuiku0116的博客
11-24 1053
一、show方法 功能：展示DataFrame中的数据，默认展示20条 语法： df.show(参数1，参数2) - 参数1：默认是20，控制展示多少条 - 参数2：是否阶段列，默认只输出20个字符的长度，过长不显示，要显示的话，请填入truncate=True 二、printSchema方法 功能：打印输出df的schema信息 语法 df.printSchema() 三、select 功能：选择DataFrame中的指定列（通过传入参数进行指定） 语法（可传递）：
(转载)Spark sql之DataFrame基本操作
Buevara的博客
08-07 1062
1、创建DataFrame 本文所使用的DataFrame是通过读取mysql数据库获得的，代码如下: val spark = SparkSession .builder() .appName("Spark SQL basic example") .enableHiveSupport() //.config("spark.some.config.op...
spark-2.4.7-bin-hadoop2.6.tgz
03-17
4. **Spark SQL**：Spark SQL是Spark的一个模块，用于处理结构化数据，它集成了SQL查询与DataFrame API，提供了一种统一的方式来处理结构化和半结构化数据。 5. **Spark Streaming**：Spark Streaming提供了微...
spark-theta-sketch-udfs：该项目旨在使用Yahoo Theta Sketch API作为Spark sql UDF
02-06
Spark Theta Sketch UDFs项目将Theta Sketch与Spark SQL相结合，通过User Defined Functions (UDFs)的形式，让数据分析师能够直接在SQL查询中使用Theta Sketch的功能。这样，用户无需编写复杂的Spark代码，只需简单...
example-spark：Spark，Spark Streaming和Spark SQL单元测试策略
02-06
接着，Spark SQL是Spark用于结构化数据处理的部分，它提供了DataFrame和Dataset API。对于Spark SQL的测试，重点在于SQL查询的编译、执行计划生成以及结果的准确性。可以使用DataFrame的explain()方法查看执行计划，...
spark sql解析-源码分析
03-16
Spark SQL是Apache Spark项目的一部分，它是处理SQL查询和数据集成的强大工具。Spark SQL结合了DataFrame API和传统的SQL接口，使得开发人员可以灵活地在结构化和半结构化数据上进行高性能计算。在这个源码分析中，...
sparksql-for-hbase：了解如何使用Spark SQL和HSpark连接器软件包创建驻留在HBase区域服务器中的查询数据表
02-03
Spark SQL是Apache Spark项目的一部分，它提供了一个强大的接口来处理结构化和半结构化数据，同时支持SQL查询。HBase，作为一个分布式、高性能的NoSQL数据库，存储着大量非关系型数据。当需要对HBase中的大数据进行...
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例）
奇迹虎虎的博客
02-23 2974
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例），SQL风格先把DataFrame注册成一个临时视图，DSL风格其实就是DataFrame对象调用API的过程。
大数据学习(二十二) DataFrame
Braylon的博客
02-21 463
文章目录简介DataFrame和RDD区别Datasets ： DF之上的更高级抽象DataFramesSparkSessionDataFrame中使用SQL语句视图 简介 spark SQL部分，DF是很重要的一个操作单位。 DataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表，但在底层具有更丰富的优化。DataFrames可以从各种来源构建： 结构化数据文件 hive中...
Spark之DataFrame操作大全
guoliduo的博客
06-27 1915
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.
SparkSql 使用
escaflone的专栏
01-29 6745
炼数成金 课程 SparkSql无需安装， 直接初始化SQLContext即可 //启动spark-shell bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g //RDD演示 val sqlContext= new org.apache.spark.sql.SQLContext(
Spark 的DataFrame常用操作之DSL的风格语法
共勉
05-25 1575
DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。 1、查看DataFrame当中的数据 查看DataFrame中的内容，通过调用show方法 personDF.show 2、查看DataFram当中部分字段的数据 第一种方式查看name字段数据：查看name字段的数据 personDF.select(personDF.col("name")).show 第二种方式查看name字段数据：查看name字段的另一种写法 personDF.select("name").show 第三种方式
SparkSQL -总结2- 中DSL风格和SQL风格的使用
99滴神
06-19 592
准备工作： 读取文件并转换为DataFrame或DataSet val lineRDD= sc.textFile("hdfs://192.168.1.101:9000/person.txt").map(_.split(" ")) case class Person(id:Int, name:String, age:Int) val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt)) val personDF = pers
SparkSQL的3种Join实现
ZG_24的博客
06-12 432
1. SparkSQL的3种Join实现 1.1. Broadcast Join操作 大家知道，在数据库的常见模型中（比如星型模型或者雪花模型），表一般分为两种：事实表和维度表。维度表一般指固定的、变动较少的表，例如联系人、物品种类等，一般数据有限。而事实表一般记录流水，比如销售清单等，通常随着时间的增长不断膨胀。 因为Join操作是对两个表中key值相同的记录进行连接，在SparkSQL中
Spark-SQL之DataFrame操作大全
06-06
Spark SQL中的DataFrame是一种分布式的数据集合，类似于关系型数据库中的表，可以进行各种数据操作。下面是一些常用的DataFrame操作： 1. 创建DataFrame：可以通过读取外部数据源或者手动创建数据集来创建DataFrame...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值