sparksql学习笔记（一）：基本操作

最新推荐文章于 2024-06-18 08:45:00 发布
最新推荐文章于 2024-06-18 08:45:00 发布
阅读量204 收藏 1
点赞数
分类专栏： 大数据基础 文章标签： 大数据 spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37754282/article/details/109258054
版权
本文是SparkSQL的学习笔记，涵盖了从读入数据、展示数据、数据类型查看到数据操作如select、groupby和filter（可使用where替代）的基础操作。
摘要由CSDN通过智能技术生成
1.1 读入数据
df = spark.read.csv('building.csv', header=True, inferSchema=True)
1.2 展示数据
# show the content of the dataframe
df.show()

df.printSchema()

1.3 展示数据类型
df.printSchema()

在这里插入图片描述

1.4 dataframe创建rdd型数据库
dfrdd = df.rdd
dfrdd.take(3)  #展示前三组，看看是什么样

在这里插入图片描述

2.1 select
df.select('BuildingID', 'Country').show()
<
最低0.47元/天 解锁文章
水母君98
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
OPENCV学习笔记一：图像基本操作
01-20
一、图像基本操作： 1.图像读取：cv.imread(“文件位置：D:/python/picture.png” ) 函数功能：从文件路径中读取图片文件并显示出来，可读取的文件类型有JPG、JPEG、PNG、Webp等 函数原型：Mat imread(const string&...
spark学习笔记6
rona1的博客
04-16 1817
pyspark.sql.DataFrame对象的方法aggr=sparkdf.agg({"a":"max","b":"min"}) #对列的聚合操作 print aggr.collect() print sparkdf.approxQuantile('a',[0.25,0.5,0.75],0) #对某列求分位数，只是近似值 print sparkdf.colRegex("\w+") #spar...
SparkDF操作与SQL交互和相关函数整理
Elvis__c的博客
03-15 4051
SparkDF与SparkSQL交互操作函数笔记一、生成DF方式1.toDF2.createDataFrame3.list 转 DF4.schema动态创建DataFrame5.通过读取文件创建DF二、保存文件三、DF相关API1.Action2.RDD类操作3.Excel类操作四、DF与SQL交互操作1.查询 select,selectExpr,where2.表连接 join,union,unionAll3.表分组 groupby,agg,pivot4.窗口函数、爆炸函数、复合型函数4-1.窗口函数4-2
Spark SQL的基本使用和操作
最新发布
qq_66369005的博客
06-18 1786
​ Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​ Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。
spark学习之sparksql中dataframe的常用函数
Carnation_s的博客
10-11 3211
SparkSql-DataFrame 一、DataFrame的相关方法 1、show 作用：展示数据 show(numRows:Int,truncate:Boolean) show(numRows:Int) numRows：表示展示的行数（默认展示20行） Truncate:只有两个取值true,false,表示一个字段是否最多显示20个字符，默认为true 2、collect 作用：获取一个dataframe的里面的数据 形成的是一个数组 注意：返回的是一个array 适用于数据量比较小的场景
Spark的Dataset操作(二)-过滤的filter和where
热门推荐
coding_hello的专栏
07-12 5万+
spark-sql的filter,where的用法
spark UDF 问题
yisun123456的博客
07-22 496
ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Resolved attribute(s) item_id#5636 missing from .... Attribute(s) with the same name appear in the operation: item_id. Please check if the right attribute.
django教程：基本操作笔记整理.png
06-11
django教程：基本操作笔记整理.png
TensorFlow学习笔记（一）基本操作
12-21
TensorFlow学习笔记（一）基本操作 Opation type （1）element-wise ±*/ b=tf.fill([2,2],2.) a=tf.ones([2,2]) a+b,a-b,a*b,a/b,b//a,b%a （2）matrix-wise @，matmul a@b tf.matmul(a, b) （3）dim-wise reduce...
MySQL学习笔记3：表的基本操作介绍
01-19
要操作表首先需要选定数据库，因为表是存在于数据库内的 选择数据库 mysql> use school; Database changed 选择好数据库之后，我们就可以在此数据库之中创建表了 创建表 mysql> create table student( -> id int, ->...
APP自动化学习笔记之一：monkey基本操作
01-03
monkey是一个程序，运行在模拟器或设备上，并生成伪随机的用户事件流。如点击、触摸、手势，以及一些系统级事件，可以使用monkey事件以随机但可重复的事件对应用程序进行压力测试。 一、monkey启动与关闭  1.1 ...
pyspark常用语法_零碎
qq_43354053的博客
12-29 1360
想了解更多，欢迎移步"文渊小站" 里面有更多知识分享，以及一些有意思的小项目～ 环境 spark 2.4.0 df查看信息（常用） df.schema # df表结构 df.columns # df各字段 df.dtypes # df各字段数据类型 df.first() # df的第一行数据 df.head() # df的第一行数据 # df.head(5) # df的前五行数据 df.show() # 展示 df 的部分行数据 # df.show(
Spark SQL的使用
fcx1234的博客
11-21 1698
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
Spark SQL数据源-基本操作
new_renren的博客
05-31 690
默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。除了使用select()方法查询外，也可以使用SparkSession对象的sql()方法执行SQL语句进行查询，该方法的返回结果仍然是一个DataFrame。
Spark SQL数据源的基本操作
梁辰兴的博客
06-13 2405
使用format()方法可以手动指定数据源。数据源需要使用完全限定名（例如org.apache.spark.sql.parquet），但对于Spark SQL的内置数据源，也可以使用它们的缩写名（JSON、Parquet、JDBC、ORC、Libsvm、CSV、Text）。通过手动指定数据源，可以将DataFrame数据集保存为不同的文件格式或者在不同的文件格式之间转换。在指定数据源的同时，可以使用option()方法向指定的数据源传递所需参数。例如，向JDBC数据源传递账号、密码等参数。
Spark SQL基础知识
MSJ3917的博客
01-09 1472
去重API:dropDuplicates总结:用来删除重复数据,如果没有指定参数subset,那么要比对行中的所有字段内容,如果全部相同,就认为是重复数据,会被删除;如果有指定参数subset,那么只比对subset中指定的字段范围,如果指定不存在的字段会报错.删除缺失值的API:dropna总结:1- 如果不传递任何参数,只要有任意一个字段值为null,那么就删除整行数据2-如果只指定了subset,那么空值的检查,就只会限定在subset指定的范围内。
Spark SQL 基本操作
m0_60946919的博客
05-30 1981
通过查阅博客了解了agg方法可以接收多个聚合函数作为参数，也可以使用字典或多个键值对来指定要聚合的列以及聚合函数。它返回一个DataFrame，其中包含所有指定列的聚合结果。在例如计算平均值时，可以使用agg方法。第二个方法是使用groupBy方法对DataFrame进行分组，然后使用avg方法计算分组后每组age列的平均值，最后使用select方法选择要返回的列，并使用collect方法获取计算结果并转换为一个列表。由于只有一个分组并且只有一个聚合函数，因此列表中只有一个元素。
Sparksql的介绍以及常见操作
jj1130050965的博客
12-29 1031
sparksql
"Matlab学习笔记一：基本操作与变量声明，注意命名规则与关键字避免函数覆盖
本文是关于Matlab学习笔记，概述了基本操作与矩阵输入，包括变量的声明与使用，以及变量命名的规范和注意事项。 在Matlab中，变量不需要声明，可以直接使用“=”来宣告一个变量，例如A=10。但是需要注意，变量的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值