PySpark-DataFrame各种常用操作举例

最新推荐文章于 2024-04-27 03:21:45 发布
最新推荐文章于 2024-04-27 03:21:45 发布
阅读量3.4w 收藏 122
点赞数 19
分类专栏： 大数据 文章标签： pyspark daraframe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anshuai_aw1/article/details/87881079
版权

最近开始接触pyspark，其中DataFrame的应用很重要也很简便。因此，这里记录一下自己的学习笔记。

详细的应用可以参看pyspark.sql module。这是官网文档，里面记录了详细的DataFrame使用说明。

目录

一、创建DF或者读入DF

二、查

2.1 行元素查询操作

2.2 列元素操作 

2.3 排序

2.4 抽样

三、 增、改

四、合并 join / union 

4.1 横向拼接union

4.2 Join根据条件

4.3 求并集、交集

4.4 分割：行转列

五、 频数统计与筛选

一、创建DF或者读入DF

以sql输出的结果创建df，这种形式最常用。

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.types import *
from pyspark.sql.functions import *

df = spark.sql("select * from table_name")

也可以使用toDF() 

from pyspark.sql import Row
row = Row("spe_id", "InOther")
x = ['x1','x2']
y = ['y1','y2']
new_df = sc.parallelize([row(x[i], y[i]) for i in range(2)]).toDF()

当然，也可以采用下面的方式创建DF，我们这里造了下面的数据集来说明df的一系列操作。

test = []
test.append((1, 'age', '30', 50, 40))
test.append((1, 'city', 'beijing', 50, 40))
test.append((1, 'gender', 'fale', 50, 40))
test.append((1, 'height', '172cm', 50, 40))
test.append((1, 'weight', '70kg', 50, 40))
test.append((2, 'age', '26', 100, 80))
test.append((2, 'city', 'beijing', 100, 80))
test.append((2, 'gender', 'fale', 100, 80))
test.append((2, 'height', '170cm', 100, 80))
test.append((2, 'weight', '65kg', 100, 80))
test.append((3, 'age', '35', 99, 99))
test.append((3, 'city', 'nanjing', 99, 99))
test.append((3, 'gender', 'female', 99, 99))
test.append((3, 'height', '161cm', 99, 99))
test.append((3, 'weight', '50kg', 99, 99))
df = spark.createDataFrame(test,['user_id', 'attr_name','attr_value', 'income', 'expenses'])

createDataFrame有一个参数，samplingRatio。这个参数的含义是：如果df的某列的类型不确定，则抽样百分之samplingRatio的数据来看是什么类型。因此，我们一般设定其为1。即，只要该列有1个数据不为空，该列的类型就不会为null。

二、查

2.1 行元素查询操作

打印数据

df.show()默认打印前20条数据，当然可以指定具体打印多少条数据。

如果有些属性值特别长，pyspark会截断数据导致打不全，这时候可以使用df.show(truncate=False)

>>> df.show()
+-------+---------+----------+------+--------+
|user_id|attr_name|attr_value|income|expenses|
+-------+---------+----------+------+--------+
|      1|      age|        30|    50|      40|
|      1|     city|   beijing|    50|      40|
|      1|   gender|      fale|    50|      40|
|      1|   height|     172cm|    50|      40|
|      1|   weight|      70kg|    50|      40|
|      2|      age|        26|   100|      80|
|      2|     city|   beijing|   100|      80|
|      2|   gender|      fale|   100|      80|
|      2|   height|     170cm|   100|      80|
|      2|   weight|      65kg|   100|      80|
|      3|      age|        35|    99|      99|
|      3|     city|   nanjing|    99|      99|
|      3|   gender|    female|    99|      99|
|      3|   height|     161cm|    99|      99|
|      3|   weight|      50kg|    99|      99|
+-------+---------+----------+------+--------+

>>> df.show(3)
+-------+---------+----------+------+--------+
|user_id|attr_name|attr_value|income|expenses|
+-------+---------+----------+------+--------+
|      1|      age|        30|    50|      40|
|      1|     city|   beijing|    50|      40|
|      1|   gender|      fale|    50|      40|
+-------+---------+----------+------+--------+
only showing top 3 rows

打印概要

>>> df.printSchema()
root
 |-- user_id: long (nullable = true)
 |-- attr_name: string (nullable = true)
 |-- attr_value: string (nullable = true)
 |-- income: long (nullable = true)
 |-- expenses: long (nullable = true)

查询总行数

>>> df.count()
15

获取头几行到本地

>>> list = df.head(3) 
>>> df.head(3)
[Row(user_id=1, attr_name=u'age', attr_value=u'30', income=50, expenses=40), Row(user_id=1, attr_name=u'city', attr_value=u'beijing', income=50, expenses=40), Row(user_id=1, attr_name=u'gender', attr_value=u'fale', income=50, expenses=40)]
>>> df.take(5)
[Row(user_id=1, attr_name=u'age', attr_value=u'30', income=50, expenses=40), Row(user_id=1, attr_name=u'city', attr_value=u'beijing', income=50, expenses=40), Row(user_id=1, attr_name=u'gender', attr_value=u'fale', income=50, expenses=40), Row(user_id=1, attr_name=u'height', attr_value=u'172cm', income=50, expenses=40), Row(user_id=1, attr_name=u'weight', attr_value=u'70kg', income=50, expenses=40)]

查询某列为null的行

>>> from pyspark.sql.functions import isnull
>>> df = df.filter(isnull("income"))
>>> df.show()
19/02/22 17:05:51 WARN DFSClient: Slow ReadProcessor read fields took 87487ms (threshold=30000ms); ack: seqno: 198 reply: SUCCESS reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 17565965 flag: 0 flag: 0 flag: 0, targets: [DatanodeInfoWithStorage[172.21.3.38:50010,DS-82aedc87-a850-40aa-9d04-dc62ab0988ef,DISK], DatanodeInfoWithStorage[172.21.80.165:50010,DS-305daec5-3c77-48cd-bee2-4f839aea8bb4,DISK], DatanodeInfoWithStorage[172.21.151.40:50010,DS-29ba84d5-ad7d-407f-9484-d85aa3f0a736,DISK]]
+-------+---------+----------+------+--------+
|user_id|attr_name|attr_value|income|expenses|
+-------+---------+----------+------+--------+
+-------+---------+----------+------+--------+

输出list类型，list中每个元素是Row类：

>>> df.collect()
[Row(user_id=1, attr_name=u'age', attr_value=u'30', income=50, expenses=40), Row(user_id=1, attr_name=u'city', attr_value=u'beijing', income=50, expenses=40), Row(user_id=1, attr_name=u'gender', attr_value=u'fale', income=50, expenses=40), Row(user_id=1, attr_name=u'height', attr_value=u'172cm', income=50, expenses=40), Row(user_id=1, attr_name=u'weight', attr_value=u'70kg', income=50, expenses=40), Row(user_id=2, attr_name=u'age', attr_value=u'26', income=100, expenses=80), Row(user_id=2, attr_name=u'city', attr_value=u'beijing', income=100, expenses=80), Row(user_id=2, attr_name=u'gender', attr_value=u'fale', income=100, expenses=80), Row(user_id=2, attr_name=u'height', attr_value=u'170cm', income=100, expenses=80), Row(user_id=2, attr_name=u'weight', attr_value=u'65kg', income=100, expenses=80), Row(user_id=3, attr_name=u'age', attr_value=u'35', income=99, expenses=99), Row(user_id=3, attr_name=u'city', attr_value=u'nanjing', income=99, expenses=99), Row(user_id=3, attr_name=u'gender', attr_value=u'female', income=99, expenses=99), Row(user_id=3, attr_name=u'height', attr_value=u'161cm', income=99, expenses=99), Row(user_id=3, attr_name=u'weight', attr_value=u'50kg', income=99, expenses=99)]

注：此方法将所有数据全部导入到本地，返回一个Array对象。当然，我们可以取出Array中的值，是一个Row，我们也可以取出Row中的值。

>>> list = df.collect()
>>> 19/02/22 16:54:04 WARN DFSClient: Slow ReadProcessor read fields took 43005ms (threshold=30000ms); ack: seqno: 179 reply: SUCCESS reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 18446744073455908425 flag: 0 flag: 0 flag: 0, targets: [DatanodeInfoWithStorage[172.21.3.38:50010,DS-82aedc87-a850-40aa-9d04-dc62ab0988ef,DISK], DatanodeInfoWithStorage[172.21.80.165:50010,DS-305daec5-3c77-48cd-bee2-4f839aea8bb4,DISK], DatanodeInfoWithStorage[172.21.151.40:50010,DS-29ba84d5-ad7d-407f-9484-d85aa3f0a736,DISK]]

>>> list[0]
Row(user_id=1, attr_name=u'age', attr_value=u'30', income=50, expenses=40)
>>> list[0][1]
u'age'

查询概况

>>> df.describe().show()
19/02/22 16:58:23 WARN DFSClient: Slow ReadProcessor read fields took 78649ms (threshold=30000ms); ack: seqno: 188 reply: SUCCESS reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 187817284 flag: 0 flag: 0 flag: 0, targets: [DatanodeInfoWithStorage[172.21.3.38:50010,DS-82aedc87-a850-40aa-9d04-dc62ab0988ef,DISK], DatanodeInfoWithStorage[172.21.80.165:50010,DS-305daec5-3c77-48cd-bee2-4f839aea8bb4,DISK], DatanodeInfoWithStorage[172.21.151.40:50010,DS-29ba84d5-ad7d-407f-9484-d85aa3f0a736,DISK]]
+-------+------------------+---------+------------------+-----------------+------------------+
|summary|           user_id|attr_name|        attr_value|           income|          expenses|
+-------+------------------+---------+------------------+-----------------+------------------+
|  count|                15|       15|                15|               15|                15|
|   mean|               2.0|     null|30.333333333333332|             83.0|              73.0|
| stddev|0.8451542547285166|     null| 4.509249752822894|24.15722311383137|25.453037988757707|
|    min|                 1|      age|             161cm|               50|                40|
|    max|                 3|   weight|           nanjing|              100|                99|
+-------+------------------+---------+------------------+-----------------+------------------+

去重set操作

>>> df.select('user_id').distinct().show()
+-------+                                                                       
|user_id|
+-------+
|      1|
|      3|
|      2|
+-------+

2.2 列元素操作 

选择一列或多列：select

df["age"]
df.age
df.select(“name”)
df.select(df[‘name’], df[‘age’]+1)
df.select(df.a, df.b, df.c)    # 选择a、b、c三列
df.select(df["a"], df["b"], df["c"])    # 选择a、b、c三列

用where按条件选择

>>> df.where("income = 50" ).show()                         
+-------+---------+----------+------+--------+
|user_id|attr_name|attr_value|income|expenses|
+-------+---------+----------+------+--------+
|      1|      age|        30|    50|      40|
|      1|     city|   beijing|    50|      40|
|      1|   gender|      fale|    50|      40|
|      1|   height|     172cm|    50|      40|
|      1|   weight|      70kg|    50|      40|
+-------+---------+----------+------+--------+

2.3 排序

orderBy：按指定字段排序，默认为升序

>>> df.orderBy(df.income.desc()).show()         
19/02/22 18:02:31 WARN DFSClient: Slow ReadProcessor read fields took 87360ms (threshold=30000ms); ack: seqno: 325 reply: SUCCESS reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 14139744 flag: 0 flag: 0 flag: 0, targets: [DatanodeInfoWithStorage[172.21.3.38:50010,DS-82aedc87-a850-40aa-9d04-dc62ab0988ef,DISK], DatanodeInfoWithStorage[172.21.80.165:50010,DS-305daec5-3c77-48cd-bee2-4f839aea8bb4,DISK], DatanodeInfoWithStorage[172.21.151.40:50010,DS-29ba84d5-ad7d-407f-9484-d85aa3f0a736,DISK]]
+-------+---------+----------+------+--------+
|user_id|attr_name|attr_value|income|expenses|
+-------+---------+----------+------+--------+
|      2|   gender|      fale|   100|      80|
|      2|   weight|      65kg|   100|      80|
|      2|   height|     170cm|   100|      80|
|      2|      age|        26|   100|      80|
|      2|     city|   beijing|   100|      80|
|      3|   gender|    female|    99|      99|
|      3|      age|        35|    99|      99|
|      3|   height|     161cm|    99|      99|
|      3|   weight|      50kg|    99|      99|
|      3|     city|   nanjing|    99|      99|
|      1|      age|        30|    50|      40|
|      1|   height|     172cm|    50|      40|
|      1|     city|   beijing|    50|      40|
|      1|   weight|      70kg|    50|      40|
|      1|   gender|      fale|    50|      40|
+-------+---------+----------+------+--------+

2.4 抽样

sample是抽样函数，其中withReplacement = True or False代表是否有放回。42是seed。

t1 = train.sample(False, 0.2, 42)

三、 增、改

 新增数据列

withColumn是通过添加或替换与现有列有相同的名字的列，返回一个新的DataFrame。

但是，我们这么写会报错

>>> df.withColumn('label', 0) 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/software/servers/10k/mart_vdp/spark/python/pyspark/sql/dataframe.py", line 1848, in withColumn
    assert isinstance(col, Column), "col should be Column"
AssertionError: col should be Column

报错：AssertionError: col should be Column，即一定要指定某现有列。有两种方式可以实现：

一种方式通过functions

>>> from pyspark.sql.functions import *
>>> df.withColumn('label', lit(0))     
DataFrame[user_id: bigint, attr_name: string, attr_value: string, income: bigint, expenses: bigint, label: int]

另一种方式是通过另一个已有变量：

>>> df.withColumn('income1', df.income+10).show(5)                  
19/02/22 18:25:03 WARN DFSClient: Slow ReadProcessor read fields took 34439ms (threshold=30000ms); ack: seqno: 382 reply: SUCCESS reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 26903061 flag: 0 flag: 0 flag: 0, targets: [DatanodeInfoWithStorage[172.21.3.38:50010,DS-82aedc87-a850-40aa-9d04-dc62ab0988ef,DISK], DatanodeInfoWithStorage[172.21.80.165:50010,DS-305daec5-3c77-48cd-bee2-4f839aea8bb4,DISK], DatanodeInfoWithStorage[172.21.151.40:50010,DS-29ba84d5-ad7d-407f-9484-d85aa3f0a736,DISK]]
+-------+---------+----------+------+--------+-------+
|user_id|attr_name|attr_value|income|expenses|income1|
+-------+---------+----------+------+--------+-------+
|      1|      age|        30|    50|      40|     60|
|      1|     city|   beijing|    50|      40|     60|
|      1|   gender|      fale|    50|      40|     60|
|      1|   height|     172cm|    50|      40|     60|
|      1|   weight|      70kg|    50|      40|     60|
+-------+---------+----------+------+--------+-------+
only showing top 5 rows

修改列名

>>> df.withColumnRenamed( "income" , "income2" ).show(3) 
+-------+---------+----------+-------+--------+
|user_id|attr_name|attr_value|income2|expenses|
+-------+---------+----------+-------+--------+
|      1|      age|        30|     50|      40|
|      1|     city|   beijing|     50|      40|
|      1|   gender|      fale|     50|      40|
+-------+---------+----------+-------+--------+
only showing top 3 rows

四、合并 join / union 

4.1 横向拼接union

利用union可以按行拼接

>>> df.union(df).show()
+-------+---------+----------+------+--------+
|user_id|attr_name|attr_value|income|expenses|
+-------+---------+----------+------+--------+
|      1|      age|        30|    50|      40|
|      1|     city|   beijing|    50|      40|
|      1|   gender|      fale|    50|      40|
|      1|   height|     172cm|    50|      40|
|      1|   weight|      70kg|    50|      40|
|      2|      age|        26|   100|      80|
|      2|     city|   beijing|   100|      80|
|      2|   gender|      fale|   100|      80|
|      2|   height|     170cm|   100|      80|
|      2|   weight|      65kg|   100|      80|
|      3|      age|        35|    99|      99|
|      3|     city|   nanjing|    99|      99|
|      3|   gender|    female|    99|      99|
|      3|   height|     161cm|    99|      99|
|      3|   weight|      50kg|    99|      99|
|      1|      age|        30|    50|      40|
|      1|     city|   beijing|    50|      40|
|      1|   gender|      fale|    50|      40|
|      1|   height|     172cm|    50|      40|
|      1|   weight|      70kg|    50|      40|
+-------+---------+----------+------+--------+
only showing top 20 rows

4.2 Join根据条件

单字段Join

合并2个表的join方法：

df_join = df_left.join(df_right, df_left.key == df_right.key, "inner")

4.3 求并集、交集

来看一个例子，先构造两个dataframe：

sentenceDataFrame = spark.createDataFrame((
      (1, "asf"),
      (2, "2143"),
      (3, "rfds")
    )).toDF("label", "sentence")
sentenceDataFrame.show()

sentenceDataFrame1 = spark.createDataFrame((
      (1, "asf"),
      (2, "2143"),
      (4, "f8934y")
    )).toDF("label", "sentence")

# 差集
newDF = sentenceDataFrame1.select("sentence").subtract(sentenceDataFrame.select("sentence"))
newDF.show()

+--------+
|sentence|
+--------+
|  f8934y|
+--------+

# 交集
newDF = sentenceDataFrame1.select("sentence").intersect(sentenceDataFrame.select("sentence"))
newDF.show()

+--------+
|sentence|
+--------+
|     asf|
|    2143|
+--------+

# 并集
newDF = sentenceDataFrame1.select("sentence").union(sentenceDataFrame.select("sentence"))
newDF.show()

+--------+
|sentence|
+--------+
|     asf|
|    2143|
|  f8934y|
|     asf|
|    2143|
|    rfds|
+--------+

4.4 分割：行转列

有时候需要根据某个字段内容进行分割，然后生成多行，这时可以使用explode方法。下

面代码中，根据c3字段中的空格将字段内容进行分割，分割的内容存储在新的字段c3_中，如下所示

 

注：spark的“惰性”性质导致上面的结果，即df.count()是一个Transformations操作，只有执行Action时，

五、 频数统计与筛选

在stat模块中。参考文献【2】有详细介绍。

分组统计 group by

train.groupby('Age').agg({'Purchase': 'mean'}).show()
Output:
+-----+-----------------+
|  Age|    avg(Purchase)|
+-----+-----------------+
|51-55|9534.808030960236|
|46-50|9208.625697468327|
| 0-17|8933.464640444974|
|36-45|9331.350694917874|
|26-35|9252.690632869888|
|  55+|9336.280459449405|
|18-25|9169.663606261289|
+-----+-----------------+

应用多个函数

df.groupBy(“A”).agg(functions.avg(“B”), functions.min(“B”), functions.max(“B”)).show()

apply 函数

udf 函数应用

等等。

当然，pyspark的df的功能特别强大。我这里就不再一一举例了，详见参考文献【2】

参考文献：

【1】PySpark︱DataFrame操作指南：增/删/改/查/合并/统计与数据处理

【2】pyspark.sql module

anshuai_aw1
关注
  • 19
    点赞
  • 踩
  • 122
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hdfs文件传输调优
05-20
hdfs文件传输调优，hdfs文件传输调优 hdfs文件传输调优
PySpark:DataFrame及其常用列操作
热门推荐
读万卷书 行万里路
04-27 1万+
DataFrame也是一种不可变的分布式数据集，类似于Python Pandas中的DataFrame和关系数据库中的表。在分布式数据集上施加表结构之后，就可以使用Spark SQL查询结构化的数据或者使用Spark表达式方法。 1. Spark SQL性能 未引入DataFrame之前，使用Python操作RDD时的查询速度比使用Scala和Java的查询慢很多，因为Pyspark需要将所有........................................................
PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd
2401_84187537的博客
04-27 2187
spark.sql.repl.eagerEval.enabled用于在notebooks（如Jupyter）中快速生成PySpark DataFrame的配置。PySpark DataFrame还提供了到pandas DataFrame的转换，以利用pandas API。DataFrame.collect()将分布式数据收集到驱动程序端，作为Python中的本地数据。DataFrame.mapInPandas允许用户在pandas DataFrame中直接使用API，而不受结果长度等任何限制。
SLOW READPROCESSOR；ERROR SLOW BLOCKRECEIVER错误日志分析
magic_kid_2010的专栏
05-27 1331
hadoop SLOW READPROCESSOR 分析
hbase : Slow ReadProcessor read fields
数据之美的博客
11-28 7889
在测试时，经常会看到hbase日志里有报DFSClient Slow ReadProcessor read fields的消息。 2018-11-28 18:20:34,394 WARN org.apache.hadoop.hdfs.DFSClient: Slow ReadProcessor read fields took 31274ms (threshold=30000ms); ack: ...
mysql新增阵列df_spark sql 给 df 增加一列
weixin_34377697的博客
02-02 351
>>> d = [{'name': 'Alice', 'age': 1}]>>> f = spark.createDataFrame(d)>>> f.collect()[Row(age=1, name=u'Alice')]>>> from pyspark.sql import functions as F现在要新增加一列new...
Pyspark 读 DataFrame 的使用与基本操作
weixin_41888257的博客
12-20 1万+
一、安装 基于 mac 操作系统 安装 jdk jdk 下载地址 安装 pyspark pip install pyspark 二、基本操作 2.1 建立SparkSession对象 一切操作之前需要先建立一个SparkSession对象(运行Spark code的Entrance point,可以理解为交互部件)： 详见： pyspark.sql module from pyspark.sql import SparkSession spark = SparkSession.builder.ma
pySpark-flatten-dataframe:PySpark函数可展平从JSONCSVSQLParquet加载的任何复杂的嵌套数据框结构
05-02
pySpark-flatten-dataframe PySpark函数可展平从JSON / CSV / SQL / Parquet加载的任何复杂的嵌套数据框结构 例如，对于嵌套的JSON- 展平所有嵌套项：{“ human”：{“ name”：{“ first_name”：“ Jay Lohokare...
pyspark-examples:Python语言中的Pyspark RDD，DataFrame和Dataset示例
05-02
PySpark DataFrame示例PySpark –创建一个DataFrame PySpark –创建一个空的DataFrame PySpark –将RDD转换为DataFrame PySpark –将DataFrame转换为PandasPySpark – StructType和StructField 在DataFrame和RDD上...
PySpark-Boilerplate:编写PySpark作业的样板
05-17
- **RDD（弹性分布式数据集）**: PySpark的核心数据结构，是不可变、分区的记录集合，可以在集群中并行操作。 - **DataFrame**: 基于Spark SQL，提供了更高级别的抽象，类似于SQL表，支持多种数据类型和关系操作。 -...
pyspark-mlib:pyspark-mlib
04-12
首先，让我们了解PySpark的基本操作。PySpark允许我们通过SparkContext（sc）来连接到Spark集群，创建DataFrame和RDD（弹性分布式数据集）。DataFrame是Spark 2.x引入的强类型数据结构，提供了SQL-like查询能力，...
python - DataFrame查询数据操作 LJdata.csv
最新发布
06-07
数据集 LJdata.csv
HDFS上传缓慢： INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block
光脚虾的博客
12-10 5187
问题描述 在往HDFS 上导数据时遇到的问题，文件大概有100G左右，总个数有100个 近两天往HDFS上传文件时发现，hdfs报这个告警后，上传就变的特别慢。但是可以正常上传，上传上去的文件大小无异常，只是传输很慢 报错内容删除了敏感信息 19/12/10 11:27:31 INFO hdfs.DataStreamer: Slow ReadProcessor read fields for bl...
【pyspark】DataFrame基础操作（一）
u011590738的博客
07-14 3167
介绍一下 pyspark 的 DataFrame 基础操作。
PySpark-DataFrame各种常用操作举例--转载
z7one
08-12 2118
最近开始接触pyspark，其中DataFrame的应用很重要也很简便。因此，这里记录一下自己的学习笔记。 详细的应用可以参看pyspark.sql module。这是官网文档，里面记录了详细的DataFrame使用说明。 目录 一、创建DF或者读入DF 二、查 2.1行元素查询操作 2.2列元素操作 2.3排序 2.4 抽样 三、增、改 四、合并 join / union 4.1 横向拼接union 4.2 Join根据条件 4.3求并集、交集 4.4分割：行转...
Slow ReadProcessor&Error Slow BlockReceiver错误日志分析
qq_32323239的博客
07-06 1231
1.总结 "Slow ReadProcessor" 和"Slow BlockReceiver"往往是因为集群负载比较高或者某些节点不健康导致的，本文主要是帮助你确认是因为集群负载高导致的还是因为某些节点的硬件问题。 2.症状 1.作业比以前运行的时间变长 2.Job的日志中有以下WARN的信息 2018-04-18 00:16:11,632 WARN [ResponseProcessor for block BP-<pool_id>:blk_<block_id>] org.
df.show()函数算法
南风知我意
07-22 1082
假设：show(m),df 0号分区里数据量为n 1.m n时，show取0号分区n条数据，另外取1号分区m-n条数据（不够的话以此类推）
一文搞懂PySpark下DataFrame常见方法详解
xdx_dili的博客
09-27 936
一文搞懂PySpark下DataFrame常见方法详解
PySpark DataFrame使用详解
haveanybody的博客
05-11 2061
作为一款非常成熟的大数据工具，Spark已在业界获得了非常广泛的应用。而Python+Spark的结合产物PySpark更是集合了Python的易用和Spark的分布式计算能力，产生了1+1 > 2的效果。本系列文章将从《PySpark DataFrame》、《Pandas API on Spark》、《Spark on K8S》、《PySpark RDD》几个方面分别介绍PySpark的功能。
pyspark 创建dataframe
04-09
好的，关于 pyspark 创建 dataframe，您可以使用以下代码： ``` from pyspark.sql import SparkSession # 创建 SparkSession spark = SparkSession.builder.appName('create_dataframe').getOrCreate() # 创建数据 data = [("Alice", 25), ("Bob", 30), ("Charlie", 35), ("Dave", 40)] # 将数据转换为 RDD rdd = spark.sparkContext.parallelize(data) # 将 RDD 转换为 dataframe df = rdd.toDF(["Name", "Age"]) # 显示 dataframe df.show() ``` 这段代码将创建一个 SparkSession，然后使用数据创建一个 RDD，最后将 RDD 转换为 dataframe 并显示出来。希望能帮到您！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值