pyspark dataframe 列的合并与拆分，单行转多行

最新推荐文章于 2023-02-15 17:01:13 发布
最新推荐文章于 2023-02-15 17:01:13 发布
阅读量5.3k 收藏 26
点赞数 7
分类专栏： spark 文章标签： pyspark DataFrame 列拆分 单行变多行 列合并
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42886289/article/details/97003898
版权 
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession, Row, SQLContext

from pyspark.sql.functions import udf, col, concat, concat_ws, explode, split
from pyspark.sql.types import MapType, IntegerType, StringType, FloatType, ArrayType
from pyspark.ml.feature import VectorAssembler
from itertools import chain
from pyspark.ml.linalg import Vectors, VectorUDT
import json

spark = SparkSession.builder.appName('test1') \
        .master('local') \
        .config('spark.executor.memory','4g') \
        .config('spark.executor.cores', '4') \
        .getOrCreate()
sc = spark.sparkContext
sqlContext = SQLContext(sc)

构建示例数据

test_score = spark.createDataFrame([['王强', '{"语文":119,"数学":125,"外语":120,"物理":96,"化学":70,"生物":40}'],
                                    ['刘明', '{"语文":105,"数学":121,"外语":110,"物理":71,"化学":74,"生物":45}'],
                                    ['张磊', '{"语文":110,"数学":103,"外语":124,"物理":86,"化学":52,"生物":55}']],['name','score'])
test_score.show(5,truncate=False,vertical=False)
test_score.printSchema()

+----+----------------------------------------------------------------+
|name|score                                                           |
+----+----------------------------------------------------------------+
|王强|{"语文":119,"数学":125,"外语":120,"物理":96,"化学":70,"生物":40}|
|刘明|{"语文":105,"数学":121,"外语":110,"物理":71,"化学":74,"生物":45}|
|张磊|{"语文":110,"数学":103,"外语":124,"物理":86,"化学":52,"生物":55}|
+----+----------------------------------------------------------------+

root
 |-- name: string (nullable = true)
 |-- score: string (nullable = true)

将数据中 score 列转换成映射

def udf_array_to_map(array):
    if array is None:
        return array
    return dict((i, j) for i,j in json.loads(array).items())
                                                
score_udf = udf(lambda x: udf_array_to_map(x), MapType(StringType(), IntegerType(), True))

test_score_map = test_score.withColumn('score_map', score_udf(col('score'))).select('name','score_map')
test_score_map.show(truncate=False,vertical=False)
test_score_map.printSchema()

+----+---------------------------------------------------------------------------+
|name|score_map                                                                  |
+----+---------------------------------------------------------------------------+
|王强|[物理 -> 96, 生物 -> 40, 化学 -> 70, 数学 -> 125, 语文 -> 119, 外语 -> 120]|
|刘明|[物理 -> 71, 生物 -> 45, 化学 -> 74, 数学 -> 121, 语文 -> 105, 外语 -> 110]|
|张磊|[物理 -> 86, 生物 -> 55, 化学 -> 52, 数学 -> 103, 语文 -> 110, 外语 -> 124]|
+----+---------------------------------------------------------------------------+

root
 |-- name: string (nullable = true)
 |-- score_map: map (nullable = true)
 |    |-- key: string
 |    |-- value: integer (valueContainsNull = true)

利用 explode 函数将 score_map 列中每行分成多行

test_score_explode = test_score_map.select('name', explode('score_map').alias('subject', 'score'))
test_score_explode .show()
test_score_explode.printSchema()

+----+-------+-----+
|name|subject|score|
+----+-------+-----+
|王强|   物理|   96|
|王强|   生物|   40|
|王强|   化学|   70|
|王强|   数学|  125|
|王强|   语文|  119|
|王强|   外语|  120|
|刘明|   物理|   71|
|刘明|   生物|   45|
|刘明|   化学|   74|
|刘明|   数学|  121|
|刘明|   语文|  105|
|刘明|   外语|  110|
|张磊|   物理|   86|
|张磊|   生物|   55|
|张磊|   化学|   52|
|张磊|   数学|  103|
|张磊|   语文|  110|
|张磊|   外语|  124|
+----+-------+-----+

root
 |-- name: string (nullable = true)
 |-- subject: string (nullable = false)
 |-- score: integer (nullable = true)

将 score_map 中的数据拆分成多个列

test_score_unfold = test_score_map.withColumn('语文', test_score_map['score_map'].getItem('语文'))\
    .withColumn('数学', test_score_map['score_map'].getItem('数学'))\
    .withColumn('外语', test_score_map['score_map'].getItem('外语'))\
    .withColumn('物理', test_score_map['score_map'].getItem('物理'))\
    .withColumn('化学', test_score_map['score_map'].getItem('化学'))\
    .withColumn('生物', test_score_map['score_map'].getItem('生物'))\
    .select('name','语文','数学','外语','物理','化学','生物')

test_score_unfold.show()
test_score_unfold.printSchema()

+----+----+----+----+----+----+----+
|name|语文|数学|外语|物理|化学|生物|
+----+----+----+----+----+----+----+
|王强| 119| 125| 120|  96|  70|  40|
|刘明| 105| 121| 110|  71|  74|  45|
|张磊| 110| 103| 124|  86|  52|  55|
+----+----+----+----+----+----+----+

root
 |-- name: string (nullable = true)
 |-- 语文: integer (nullable = true)
 |-- 数学: integer (nullable = true)
 |-- 外语: integer (nullable = true)
 |-- 物理: integer (nullable = true)
 |-- 化学: integer (nullable = true)
 |-- 生物: integer (nullable = true)

用 concat 将多列合并成一列

test_score_fold = test_score_unfold.withColumn("score_concat", concat(test_score_unfold['语文'], \
                                                test_score_unfold['数学'], test_score_unfold['外语'],\
                                                test_score_unfold['物理'], test_score_unfold['化学'],\
                                                test_score_unfold['生物'] )).select("name","score_concat")
test_score_fold.show()
test_score_fold.printSchema()

+----+---------------+
|name|   score_concat|
+----+---------------+
|王强|119125120967040|
|刘明|105121110717445|
|张磊|110103124865255|
+----+---------------+

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = true)

用 concat_ws 将多列合并成一列 concat_ws可选择分割符

test_score_fold_ = test_score_unfold.withColumn("score_concat", concat_ws(',',test_score_unfold['语文'], \
                                                test_score_unfold['数学'], test_score_unfold['外语'],\
                                                test_score_unfold['物理'], test_score_unfold['化学'],\
                                                test_score_unfold['生物'] )).select("name","score_concat")
test_score_fold_.show()
test_score_fold_.printSchema()

+----+--------------------+
|name|        score_concat|
+----+--------------------+
|王强|119,125,120,96,70,40|
|刘明|105,121,110,71,74,45|
|张磊|110,103,124,86,52,55|
+----+--------------------+

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = false)

用 split 将上面的数据转化成 array

test_score_split = test_score_fold_.withColumn("score_array", split(test_score_fold_['score_concat'], ","))
test_score_split.show(truncate=False,vertical=False)
test_score_split.printSchema()

+----+--------------------+---------------------------+
|name|score_concat        |score_array                |
+----+--------------------+---------------------------+
|王强|119,125,120,96,70,40|[119, 125, 120, 96, 70, 40]|
|刘明|105,121,110,71,74,45|[105, 121, 110, 71, 74, 45]|
|张磊|110,103,124,86,52,55|[110, 103, 124, 86, 52, 55]|
+----+--------------------+---------------------------+

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = false)
 |-- score_array: array (nullable = false)
 |    |-- element: string (containsNull = true)

另一种方法

def div(data):
    return data.split(',')

udf_split = udf(div, ArrayType(StringType()))

test_score_split_ = test_score_fold_.withColumn('score_array',udf_split(col('score_concat')))
test_score_split_.show(truncate=False)
test_score_split_.printSchema()

+----+--------------------+---------------------------+
|name|score_concat        |score_array                |
+----+--------------------+---------------------------+
|王强|119,125,120,96,70,40|[119, 125, 120, 96, 70, 40]|
|刘明|105,121,110,71,74,45|[105, 121, 110, 71, 74, 45]|
|张磊|110,103,124,86,52,55|[110, 103, 124, 86, 52, 55]|
+----+--------------------+---------------------------+

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = false)
 |-- score_array: array (nullable = true)
 |    |-- element: string (containsNull = true)

将 array 转成 vector

def to_vec(data):
    return Vectors.dense(data)

u_t = udf(to_vec, VectorUDT())

test_score_vector = test_score_split_.withColumn('score_vector',u_t(col('score_array')))
test_score_vector.show(truncate=False)
test_score_vector.printSchema()

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = false)
 |-- score_array: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- score_vector: vector (nullable = true)

将 vector 类型 转成 array

def to_arr(data):
    return [float(i) for i in data]

udfage = udf(to_arr, ArrayType(FloatType()))

test_score_array = test_score_vector.withColumn('score_vector_to_array',udfage('score_vector'))
test_score_array.show(truncate=False)
test_score_array.printSchema()

+----+--------------------+---------------------------+----------------------------------+---------------------------------------+
|name|score_concat        |score_array                |score_vector                      |score_vector_to_array                  |
+----+--------------------+---------------------------+----------------------------------+---------------------------------------+
|王强|119,125,120,96,70,40|[119, 125, 120, 96, 70, 40]|[119.0,125.0,120.0,96.0,70.0,40.0]|[119.0, 125.0, 120.0, 96.0, 70.0, 40.0]|
|刘明|105,121,110,71,74,45|[105, 121, 110, 71, 74, 45]|[105.0,121.0,110.0,71.0,74.0,45.0]|[105.0, 121.0, 110.0, 71.0, 74.0, 45.0]|
|张磊|110,103,124,86,52,55|[110, 103, 124, 86, 52, 55]|[110.0,103.0,124.0,86.0,52.0,55.0]|[110.0, 103.0, 124.0, 86.0, 52.0, 55.0]|
+----+--------------------+---------------------------+----------------------------------+---------------------------------------+

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = false)
 |-- score_array: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- score_vector: vector (nullable = true)
 |-- score_vector_to_array: array (nullable = true)
 |    |-- element: float (containsNull = true)

将上面转化后的数据变成多列

first_row = test_score_fold_.first()
numAttrs = len(first_row['score_concat'].split(","))
print("新增列的个数", numAttrs)
attrs = sc.parallelize(["语文","数学", "外语", "物理", "化学", "生物"]).zipWithIndex().collect()
print("列名：", attrs)
for name, index in attrs:
    df_split = df_split.withColumn(name, df_split['s'][index])

df_split.show(truncate=False,vertical=False)

新增列的个数 6
列名： [('语文', 0), ('数学', 1), ('外语', 2), ('物理', 3), ('化学', 4), ('生物', 5)]
+----+--------------------+---------------------------+----+----+----+----+----+----+
|name|score_concat        |s                          |语文|数学|外语|物理|化学|生物|
+----+--------------------+---------------------------+----+----+----+----+----+----+
|王强|119,125,120,96,70,40|[119, 125, 120, 96, 70, 40]|119 |125 |120 |96  |70  |40  |
|刘明|105,121,110,71,74,45|[105, 121, 110, 71, 74, 45]|105 |121 |110 |71  |74  |45  |
|张磊|110,103,124,86,52,55|[110, 103, 124, 86, 52, 55]|110 |103 |124 |86  |52  |55  |
+----+--------------------+---------------------------+----+----+----+----+----+----+

将单行数据变成多行

df_explode = test_score_fold_.withColumn("e", explode(split(test_score_fold_['score_concat'], ",")))
df_explode.show()
df_explode.printSchema()

+----+--------------------+---+
|name|        score_concat|  e|
+----+--------------------+---+
|王强|119,125,120,96,70,40|119|
|王强|119,125,120,96,70,40|125|
|王强|119,125,120,96,70,40|120|
|王强|119,125,120,96,70,40| 96|
|王强|119,125,120,96,70,40| 70|
|王强|119,125,120,96,70,40| 40|
|刘明|105,121,110,71,74,45|105|
|刘明|105,121,110,71,74,45|121|
|刘明|105,121,110,71,74,45|110|
|刘明|105,121,110,71,74,45| 71|
|刘明|105,121,110,71,74,45| 74|
|刘明|105,121,110,71,74,45| 45|
|张磊|110,103,124,86,52,55|110|
|张磊|110,103,124,86,52,55|103|
|张磊|110,103,124,86,52,55|124|
|张磊|110,103,124,86,52,55| 86|
|张磊|110,103,124,86,52,55| 52|
|张磊|110,103,124,86,52,55| 55|
+----+--------------------+---+

root
 |-- name: string (nullable = true)
 |-- score_concat: string (nullable = false)
 |-- e: string (nullable = true)


a = [Row(id='ID1', tokens=['one', 'two', 'two'], bigrams=['one two', 'two two'])]
b = spark.createDataFrame(a)
b.show()
b.printSchema()

+------------------+---+---------------+
|           bigrams| id|         tokens|
+------------------+---+---------------+
|[one two, two two]|ID1|[one, two, two]|
+------------------+---+---------------+

root
 |-- bigrams: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- id: string (nullable = true)
 |-- tokens: array (nullable = true)
 |    |-- element: string (containsNull = true)

def concat_(*args):
    return list(chain(*args))

lll = udf(concat_, ArrayType(StringType()))

c = b.withColumn('bein',lll(col("tokens"), col("bigrams"))) 
c.show(truncate=False)
c.printSchema()

+------------------+---+---------------+---------------------------------+
|bigrams           |id |tokens         |bein                             |
+------------------+---+---------------+---------------------------------+
|[one two, two two]|ID1|[one, two, two]|[one, two, two, one two, two two]|
+------------------+---+---------------+---------------------------------+

root
 |-- bigrams: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- id: string (nullable = true)
 |-- tokens: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- bein: array (nullable = true)
 |    |-- element: string (containsNull = true)
viziviuz
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Python DataFrame一列拆成多列以及一行拆成多行
01-01
摘要 在进行数据分析时，我们经常需要把DataFrame的一列拆成多列或者根据某列把一行拆成多行，这篇文章主要讲解这两个目标的实现。 1.读取数据 2.将City列转成多列（以‘|’为分隔符） 这里使用匿名函数lambda来讲City列拆成两列。 3.将DataFrame一行拆成多行（以‘|’为分隔符） 方法一：在刚刚得到的DataFrame基础上操作,如下图所以，可以明显看到我们按照City列将DataFrame拆成了多行。主要是先将DataFrame拆成多列，然后拆成多个DataFrame再使用concat组合。但是这种方法碰到City列切割不均匀的时候可能会麻烦一点，因此，
pyspark 中dataframe 按指定字段拆分为多列或者多行
Airstudy的博客
07-25 3770
在使用dataframe时，我们常常需要依据应用场景，需要将原来一条record拆分为多行（字段数增加1个，record增加），或者在一个record中根据已有字段拆分为多列（仍是1个record，字段数增加）这里还有另外一个问题，如果我们原始数据并没规律的以@分割的固定格式字段，或者原始数据中并没有事先准备好的array格式的字段，如何生成呢？这里个functions.explode和hive中的explode作用类似，可参考。中的explode使用。udf的使用，可以参见。......
pyspark案例系列3-dataframe实现mysql的group_concat功能
只是甲的博客
05-24 5151
一.问题描述 今天写pyspark遇到一个问题，要实现同mysql的GROUP_CONCAT函数的功能 数据1: col1 col2 1 a 1 b 1 c 2 d 2 f 想要的结果1: col1 new_col2 1 a,b,c 2 d,f 如果存在多列是否也可行 数据2: col1 col2 col3 1 a 100 1 b 20
[1017]pyspark之dataframe操作
周小董
07-10 1601
文章目录1、连接本地spark2.、创建dataframe3、 选择和切片筛选4、增加删除列5、排序6、处理缺失值7、分组统计8、join操作9、空值判断10、离群点11、去重12、 生成新列13、行的最大最小值14、when操作 1、连接本地spark import pandas as pd from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName('my_first_app_name'
pyspark之Dataframe操作（二）
人生百态361
02-28 1万+
1. 分组统计 2. join 操作 3. 缺失值处理 4. 空值判断 5. 缺失值处理 6. 离群点 7. 重复值 8. 生成新列 9. 类eval操作 10. 行的最大最小值 11. when操作 12. lag,lead平移 1. 分组统计 分组统计应该是用的最多的方法了，比如分地区求平均值，最大最小值等。 # 分组计算1 color_df.groupBy('length').coun...
Pyspark连接两个dataframe，横向连接，（可能是中文互联网上首个正确方法）
weixin_38906796的博客
12-18 3704
简单的问题，横向连接两个df，如下图所示。 pyspark中没有类似padas中的pd.concat([df1,df2],axis='columns')用以连接两个df，中文搜索半天都是些文不对题的答案，还是得科学搜索，墙外出真知。特此记录解决办法： from pyspark.sql.functions import monotonically_increasing_id as mi id=mi() df1 = df1.withColumn("match_id", id) cont_data =
mysql数据迁移到sqlserver_pyspark操作MySQL、SQLServer数据库进行数据处理操作
weixin_39572316的博客
11-22 146
欢迎访问本人的CSDN博客【Together_CZ】，我是沂水寒城。https://yishuihancheng.blog.csdn.net在大数据处理领域里面，Hadoop和spark可以说是最广为流传的两个神器，随着计算力的不断发展和数据量的急剧扩大，当前愈来愈呈现一种以Hadoop为基础存储以spark为核心计算的体系模式。spark同样也提供了对于python的支撑，我们可以通过pip的安...
pyspark列分割（列数据拆分）
大柳的博客
10-27 3260
在pyspark里进行新账期数据的预测后，生成预测的结果。见下图： probability 格式为 [0.625,0.365]，但我需要 probability 里预测为1的概率值，所以得处理一下，经过实践，总结两种方法，做个记录。 方法1： from pyspark.sql.functions import regexp_replace predictionsClassifier = predictionsClassifier.withColumn("probability", predictions
hive库concat_ws函数实现 一行转多行，多行转一行
Lockin_C的博客
02-15 889
hive库利用concat_ws函数、lateral view explode( )函数 实现一行转多行，多行转一行操作
Spark DataFrame列的合并与拆分
热门推荐
vicleev的博客
09-18 1万+
Spark DataFrame 列的合并与拆分 版本说明：Spark-2.3.0 使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 1 DataFrame列数据的合并 例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割 +----+---+----...
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
01-21
from pyspark.sql import SparkSession from pyspark.sql import SQLContext from pyspark import SparkContext #初始化数据 #初始化pandas DataFrame df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', '...
pyspark给dataframe增加新的一列的实现示例
09-17
主要介绍了pyspark给dataframe增加新的一列的实现示例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pyspark_DataFrame高级操作
大道至简
01-06 870
文章目录一、DataFrame一些操作1.1 添加列1.2 udf1.3 多行聚合1.4 单行聚合1.5 从Row结构到DataFrame1.6 交叉频率表(`crosstab`)1.7 删除重复行(`dropDuplicates`) 1.8 gruopby组合(`rollup`&`GROUPING_ID`) 二、简单数值型数据探索2.1 summary2.2 近似百分位 快速求解(`ap...
concat函数_pyspark系列--自定义函数
weixin_39716971的博客
11-24 935
自定义函数 1. 概览2. 自定义函数的一般流程3. 简单的自定义函数4. 自定义函数进阶5.pandas-udf自定义函数1. 概览自定义函数的重点在于定义返回值类型的数据格式，其数据类型基本都是从from pyspark.sql.types import * 导入，常用的包括：StructType()：结构体 StructField()：结构体中的元素 LongType()：长整型 Strin...
python数据分析包pandas_懂Excel就能轻松入门Python数据分析包pandas(七)：分列
weixin_39543758的博客
12-02 374
经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas前言今天从两个需求来看看数据分列功能，由于 Excel 自带功能比较弱，在处理稍微复杂的需求时会显得力不从心，因此，本系列文章将引入 Excel 中一个非常高效的数据处理插件—— Power Query，并且看看 pand...
pyspark dataframe列的合并与拆分
tayhh的博客
12-18 1784
使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 from pyspark.sql import SparkSessionspark = SparkSession.builder \ .master("local") \ .appName("datafr...
【大数据】SQL\pandas\pyspark的DataFrame的拼接
sunflower_sara的机器学习园地
01-13 2930
SQL UNION 竖向拼接 参考<https://www.w3school.com.cn/sql/sql_union.asp> 竖向拼接dataframe： SQL UNION 和 UNION ALL 操作符 SQL UNION 语法 SELECT column_name(s) FROM table_name1 UNION SELECT column_name(s...
PySpark - DataFrame的基本操作(笔记：20221205更新版)
qq_40694671的博客
08-22 3815
PySpark - DataFrame的基本操作
大学物理册答案上下都有
最新发布
04-26
大学物理册答案上下都有
pyspark dataframe如何将一列str转换成列表
03-25
from pyspark.sql.functions import split df = df.withColumn("list_col", split(df.str_col, ",")) ``` 其中，`df`为DataFrame对象，`str_col`为需要转换的字符串列名，`list_col`为生成的列表列名。split函数的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

viziviuz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值