PysparkNote100---DataFrame常用操作

最新推荐文章于 2022-04-24 20:54:50 发布
最新推荐文章于 2022-04-24 20:54:50 发布
阅读量381 收藏
点赞数
分类专栏： ★★★PySpark # ★★Pyspark基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wendaomudong_l2d4/article/details/106204162
版权

创建数据框

构造两个数据集

  • df1:用户基础属性，年龄、性别、注册时间
  • df2:用户交易属性，交易时间、支付金额
import pyspark.sql.functions

from pyspark.sql import SparkSession
# 创建SparkSession对象，调用.builder类
# .appName("testapp")方法给应用程序一个名字；.getOrCreate()方法创建或着获取一个已经创建的SparkSession
spark = SparkSession.builder.appName("pysaprk").getOrCreate()

df1 = spark.createDataFrame([(1, "male", "18", "2019-01-01 11:45:50"),
                            (2, "female", "37", "2019-01-02 11:55:50"),
                            (3, "male", "21", "2019-01-21 11:45:50"),
                            (4, "female", "44", "2019-02-01 12:45:50"),
                            (5, "male", "39", "2019-01-15 10:40:50")],
                           ["id", "sex", "age", "createtime_str"])

df2 = spark.createDataFrame([(1, "2019-04-01 11:45:50", 11.15),
                            (2, "2019-05-02 11:56:50", 10.37),
                            (3, "2019-07-21 12:45:50", 12.11),
                            (4, "2019-08-01 12:40:50", 14.50),
                            (5, "2019-01-06 10:00:50", 16.39)],
                           ["id", "buytime_str", "payamount"])

df1.show()

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  1|  male| 18|2019-01-01 11:45:50|
|  2|female| 37|2019-01-02 11:55:50|
|  3|  male| 21|2019-01-21 11:45:50|
|  4|female| 44|2019-02-01 12:45:50|
|  5|  male| 39|2019-01-15 10:40:50|
+---+------+---+-------------------+

df2.show()

+---+-------------------+---------+
| id|        buytime_str|payamount|
+---+-------------------+---------+
|  1|2019-04-01 11:45:50|    11.15|
|  2|2019-05-02 11:56:50|    10.37|
|  3|2019-07-21 12:45:50|    12.11|
|  4|2019-08-01 12:40:50|     14.5|
|  5|2019-01-06 10:00:50|    16.39|
+---+-------------------+---------+

数据框概览

判断类型

type(df1)

pyspark.sql.dataframe.DataFrame

打印列类型

df1.printSchema()

root
 |-- id: long (nullable = true)
 |-- sex: string (nullable = true)
 |-- age: string (nullable = true)
 |-- createtime_str: string (nullable = true)

描述性统计

df1.describe().show()

+-------+------------------+------+------------------+-------------------+
|summary|                id|   sex|               age|     createtime_str|
+-------+------------------+------+------------------+-------------------+
|  count|                 5|     5|                 5|                  5|
|   mean|               3.0|  null|              31.8|               null|
| stddev|1.5811388300841898|  null|11.562871615649808|               null|
|    min|                 1|female|                18|2019-01-01 11:45:50|
|    max|                 5|  male|                44|2019-02-01 12:45:50|
+-------+------------------+------+------------------+-------------------+

行数列数统计

df1.count()

5

len(df1.columns)

4

print("行数："+str(df1.count())+"\n"+"列数："+str(len(df1.columns)))

行数：5
列数：4

取子集

取某个位置

df1.collect()[1][1]

'female'

筛选前几行

df1.limit(3).show()

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  1|  male| 18|2019-01-01 11:45:50|
|  2|female| 37|2019-01-02 11:55:50|
|  3|  male| 21|2019-01-21 11:45:50|
+---+------+---+-------------------+

筛选某些列

df1.select("id","sex").show(3)

+---+------+
| id|   sex|
+---+------+
|  1|  male|
|  2|female|
|  3|  male|
+---+------+
only showing top 3 rows

条件筛选

df1.filter("id>2").show(2)

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  3|  male| 21|2019-01-21 11:45:50|
|  4|female| 44|2019-02-01 12:45:50|
+---+------+---+-------------------+
only showing top 2 rows

 df1.where("id = 2").show()

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  2|female| 37|2019-01-02 11:55:50|
+---+------+---+-------------------+

df1.filter(df1.id > 3).show()

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  4|female| 44|2019-02-01 12:45:50|
|  5|  male| 39|2019-01-15 10:40:50|
+---+------+---+-------------------+

列操作

列数&列名

len(df1.columns)

4

df1.columns

['id', 'sex', 'age', 'createtime_str']

列名修改

str(df1)

'DataFrame[id: bigint, sex: string, age: string, createtime_str: string]'

修改一个列

df1.withColumnRenamed("id","idNew").show(3)

+-----+------+---+-------------------+
|idNew|   sex|age|     createtime_str|
+-----+------+---+-------------------+
|    1|  male| 18|2019-01-01 11:45:50|
|    2|female| 37|2019-01-02 11:55:50|
|    3|  male| 21|2019-01-21 11:45:50|
+-----+------+---+-------------------+
only showing top 3 rows

修改多个列

df1.withColumnRenamed("id", "idNew").withColumnRenamed("age", "ageNew").show(3)

+-----+------+------+-------------------+
|idNew|   sex|ageNew|     createtime_str|
+-----+------+------+-------------------+
|    1|  male|    18|2019-01-01 11:45:50|
|    2|female|    37|2019-01-02 11:55:50|
|    3|  male|    21|2019-01-21 11:45:50|
+-----+------+------+-------------------+
only showing top 3 rows

修改全部列

newCol = ["id_new","sex_new","age_new","createtime_str_new"]
df1.toDF(*newCol).show(3)

+------+-------+-------+-------------------+
|id_new|sex_new|age_new| createtime_str_new|
+------+-------+-------+-------------------+
|     1|   male|     18|2019-01-01 11:45:50|
|     2| female|     37|2019-01-02 11:55:50|
|     3|   male|     21|2019-01-21 11:45:50|
+------+-------+-------+-------------------+
only showing top 3 rows

删除列

删除一个列

df1.drop("id").show(2)

+------+---+-------------------+
|   sex|age|     createtime_str|
+------+---+-------------------+
|  male| 18|2019-01-01 11:45:50|
|female| 37|2019-01-02 11:55:50|
+------+---+-------------------+
only showing top 2 rows

删除多个列

df1.drop("sex","age").show(2)

+---+-------------------+
| id|     createtime_str|
+---+-------------------+
|  1|2019-01-01 11:45:50|
|  2|2019-01-02 11:55:50|
+---+-------------------+
only showing top 2 rows

列筛选

df1.select("sex","age").show(2)

+------+---+
|   sex|age|
+------+---+
|  male| 18|
|female| 37|
+------+---+
only showing top 2 rows

增加列

增加常数列

from pyspark.sql import functions as f
df1.withColumn("idNew",f.lit(1)).show()

+---+------+---+-------------------+-----+
| id|   sex|age|     createtime_str|idNew|
+---+------+---+-------------------+-----+
|  1|  male| 18|2019-01-01 11:45:50|    1|
|  2|female| 37|2019-01-02 11:55:50|    1|
|  3|  male| 21|2019-01-21 11:45:50|    1|
|  4|female| 44|2019-02-01 12:45:50|    1|
|  5|  male| 39|2019-01-15 10:40:50|    1|
+---+------+---+-------------------+-----+

通过运算增加列

df1.withColumn("idNew",df1.id * 2).show(3)

+---+------+---+-------------------+-----+
| id|   sex|age|     createtime_str|idNew|
+---+------+---+-------------------+-----+
|  1|  male| 18|2019-01-01 11:45:50|    2|
|  2|female| 37|2019-01-02 11:55:50|    4|
|  3|  male| 21|2019-01-21 11:45:50|    6|
+---+------+---+-------------------+-----+
only showing top 3 rows

通过向量or列表增加列

需要先转换成dataframe，再关联

列的类型转化

几个列类型转化

df1.select(df1.id.cast("int"),"sex",df1.age.cast("double"),df1.createtime_str.cast("Timestamp")).show()

+---+------+----+-------------------+
| id|   sex| age|     createtime_str|
+---+------+----+-------------------+
|  1|  male|18.0|2019-01-01 11:45:50|
|  2|female|37.0|2019-01-02 11:55:50|
|  3|  male|21.0|2019-01-21 11:45:50|
|  4|female|44.0|2019-02-01 12:45:50|
|  5|  male|39.0|2019-01-15 10:40:50|
+---+------+----+-------------------+

df1.select(df1.id.cast("int"),"sex",df1.age.cast("double"),df1.createtime_str.cast("Timestamp")).printSchema()

root
 |-- id: integer (nullable = true)
 |-- sex: string (nullable = true)
 |-- age: double (nullable = true)
 |-- createtime_str: timestamp (nullable = true)

多个列批量转化

暂时没找到批量转的方法，先这样，后面遇到再添加吧

列之间的运算

df1.withColumn("id_x",f.lit(3)).withColumn("greatest",f.greatest("id","id_x")).withColumn("least",f.least("id","id_x")).show()

+---+------+---+-------------------+----+--------+-----+
| id|   sex|age|     createtime_str|id_x|greatest|least|
+---+------+---+-------------------+----+--------+-----+
|  1|  male| 18|2019-01-01 11:45:50|   3|       3|    1|
|  2|female| 37|2019-01-02 11:55:50|   3|       3|    2|
|  3|  male| 21|2019-01-21 11:45:50|   3|       3|    3|
|  4|female| 44|2019-02-01 12:45:50|   3|       4|    3|
|  5|  male| 39|2019-01-15 10:40:50|   3|       5|    3|
+---+------+---+-------------------+----+--------+-----+

行操作

统计行数

df1.count()

5

行筛选

filter就行

重复行删除

df1.union(spark.createDataFrame([(1, "male", "18", "2019-01-01 11:45:50")])).show()

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  1|  male| 18|2019-01-01 11:45:50|
|  2|female| 37|2019-01-02 11:55:50|
|  3|  male| 21|2019-01-21 11:45:50|
|  4|female| 44|2019-02-01 12:45:50|
|  5|  male| 39|2019-01-15 10:40:50|
|  1|  male| 18|2019-01-01 11:45:50|
+---+------+---+-------------------+

df1.union(spark.createDataFrame([(1, "male", "18", "2019-01-01 11:45:50")])).dropDuplicates().show()

+---+------+---+-------------------+
| id|   sex|age|     createtime_str|
+---+------+---+-------------------+
|  4|female| 44|2019-02-01 12:45:50|
|  1|  male| 18|2019-01-01 11:45:50|
|  3|  male| 21|2019-01-21 11:45:50|
|  2|female| 37|2019-01-02 11:55:50|
|  5|  male| 39|2019-01-15 10:40:50|
+---+------+---+-------------------+

聚合操作，groupby

data = [("a",2, 2), ("a",1, 3), ("b",3, 4), ("b",3, 4)]
df = spark.createDataFrame(data, schema=['user','x1', 'x2'])

from pyspark.sql.functions import *

df.groupBy("user").agg((count("x1") - 1).alias("num")).show()

+----+---+
|user|num|
+----+---+
|   b|  1|
|   a|  1|
+----+---+

df.distinct().show()

+----+---+---+
|user| x1| x2|
+----+---+---+
|   a|  2|  2|
|   b|  3|  4|
|   a|  1|  3|
+----+---+---+

排序

df.show()

+----+---+---+
|user| x1| x2|
+----+---+---+
|   a|  2|  2|
|   a|  1|  3|
|   b|  3|  4|
|   b|  3|  4|
+----+---+---+

df.orderBy(["x1", "x2"], ascending=[1, 0]).show()

+----+---+---+
|user| x1| x2|
+----+---+---+
|   a|  1|  3|
|   a|  2|  2|
|   b|  3|  4|
|   b|  3|  4|
+----+---+---+
维格堂406小队
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-cuDF支持CUDA的DataFrame库
08-11
cuDF - GPU DataFrame Library
DataFrame创建介绍_大数据培训
zjjcchina的博客
08-26 343
在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建；从一个存在的RDD进行转换；还可以从Hive Table进行查询返回。（1）查看Spark数据源进行创建的文件格式。（2）读取json文件创建DataFrame。3）从Hive Table进行查询返回。1）从Spark数据源进行创建。2）从RDD进行转换。2.5节我们专门讨论。3.3节我们专门讨论。...
Spark 任务常见错误以及解决方案
qq_31806205的博客
09-23 1万+
Table or view not found: aaa.bbb The column number of the existing table dmall_search.query_embedding_data_1(struct<>) doesn’t match the data schema(struct<user_id:string,dt:string,sku_list:array>); Cannot insert into table ddw_ware.purchase_d.
pyspark--读取数据
liuyingying0418的博客
04-24 6465
文章目录pyspark读取数据参数介绍formatschemaloadtableoption读取文件jsoncsvparquet和orc读取数据表hivejdbc pyspark读取数据 参数介绍 format DataFrameReader.format(source) 指定不同格式来读取文件，例如以下为指定json格式读取数据： df = spark.read.format('json').load('python/test_support/sql/people.json') 针对常用几个文件格式
​python 系列-100条处理dataframe的语句
xianmozan8790的博客
06-05 420
​python 系列-100条处理dataframe的语句 数据集处理、筛选 import pandas as pd import numpy as np dates = pd.date_range('1/1/2000', periods=8) # 建立一个时间序列，从20000101开始，8个数据 df = pd.DataFrame(np.random.randn(8, 4),index=dates, columns=['A', 'B', 'C', 'D']) # 随机生成8*4的数组，数
Spark Sql实战: 如何获取dataframe的前n行和后n行？
zg_hover的专栏
11-03 1万+
数据准备 import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.types._ import org.apache.spark.sql.functions._ case class Salary(depName: String, empNo: Long, name: String, salary: Long, hobby: Seq[String]) val df = Seq( Salary("sa
flask-pandas-dataframe:Flask Pandas Dataframe-开源示例| 应用种子
04-11
Flask Pandas Dataframe是一个one-file项目，可以帮助初学者了解一些Flask基本概念： 创建一个简单的Flask 下载公共DF 创建一个SQLite数据库和一个表来保存信息 使用新的custom command熊猫加载到数据库中 在...
gspread-dataframe:使用pandas DataFrame读写Google电子表格
05-24
gspread-dataframe 该软件包使Google电子表格中的工作表与Pandas DataFrame之间的数据流变得容易。 可以获取使用任何工作表gspread包... from_records ([{ 'a' : i , 'b' : i * 2 } for i in range ( 100 )]) set_with
pandas-1-Series和DataFrame介绍
最新发布
07-27
了解pandas的两种场景数据结构，为后续学习打下基础。熟练使用python进行数据分析和可视化，如有需要，可提供咨询服务。如有其他问题请与我联系！
dataframe-go:Go的数据框
05-14
您可以将Dataframe视为Excel电子表格。 该程序包设计轻巧直观。 :warning: 该软件包已准备好投入生产，但API尚未稳定。 达到稳定性后，将标记1.0.0版。 建议您的包管理器直接锁定到提交ID，而不是直接锁定master...
python基础练习(100题)
03-22
能做出这100道题的同学，基础非常过关！字符串，字符串相关函数表，字典，字典相关运算
spark dataframe操作集锦（提取前几行，合并，入库等）
大数据挖掘SparkExpert的博客
04-02 9万+
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。
pyspark 分组取前几个(已解决)
花木兰
03-26 7676
pyspark 怎样根据user_id和item_id分组，然后去到时间最新的前两个数据？？？？？
【总结】PySpark的DataFrame处理方法：增删改差
weimingyu945的专栏
09-14 2万+
基本操作： 运行时获取spark版本号（以spark 2.0.0为例）： sparksn = SparkSession.builder.appName("PythonSQL").getOrCreate() print sparksn.version 创建和转换格式： Pandas和Spark的
PySpark︱DataFrame操作指南：增/删/改/查/合并/统计与数据处理
热门推荐
素质云笔记
05-29 14万+
笔者最近需要使用pyspark进行数据整理，于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。 1、——– 查 ——– — 1.1 行元素查询操作 — 像SQL那样打印列表前20元素 show函数内可用int类型指定要打印的行数： df.show() df.show(30) 以树的形式打印概要 df.prin...
Pyspark特征工程--Normalizer
weixin_46408961的博客
03-09 374
Normalizer归一化 class pyspark.ml.feature.Normalizer(p=2.0, inputCol=None, outputCol=None) 使用给定的 p 范数将向量形式化为具有单位范数 1-范数：║x║1=│x1│+│x2│+…+│xn│ 2-范数： ∣∣x∣∣2=(∣∣x1∣∣2+∣∣x2∣∣2+...+∣∣xn∣∣2)(1/2) ||x||^2 = (||x1||^2+||x2||^2+...+||xn||^2)^(1/2) ∣∣x∣∣2=(∣∣x1∣∣2+∣∣x2
pyspark分组排序并提取各组的前N行
qq_42187958的博客
02-19 3091
pyspark 分组排序并筛选前N行
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换
睿不可挡的专栏
06-10 2万+
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换
PySpark 切片并选择特定的行数
给我一点温度
11-18 1万+
在PySpark需要选择特定的某些行，数据量巨大而没法转到pandas的dataframe操作。 1. 如果内容为数值，可以用between函数筛选。 参考资料：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.Column.between 下面的例子，表示筛选出(id >= 5) 及...
Spark-SQL之DataFrame操作大全
06-06
下面是一些常用的DataFrame操作： 1. 创建DataFrame：可以通过读取外部数据源或者手动创建数据集来创建DataFrame。 2. 显示DataFrame：可以使用show()方法来显示DataFrame中的数据。 3. 选择列：可以使用select()...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值