【spark】pyspark中数据类型转换pandas_df,rdd,spark_df

spark 专栏收录该内容
13 篇文章 0 订阅

pandas_df创建

十分钟搞定pandas

RDD创建

【Spark】3.RDD编程

spark_df创建

一、创建DF或者读入DF

以sql输出的结果创建df,这种形式最常用。

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.types import *
from pyspark.sql.functions import *
 
df = spark.sql("select * from table_name")

也可以使用toDF()

from pyspark.sql import Row
row = Row("spe_id", "InOther")
x = ['x1','x2']
y = ['y1','y2']
new_df = sc.parallelize([row(x[i], y[i]) for i in range(2)]).toDF()

当然,也可以采用下面的方式创建DF,我们这里造了下面的数据集来说明df的一系列操作。

test = []
test.append((1, 'age', '30', 50, 40))
test.append((1, 'city', 'beijing', 50, 40))
test.append((1, 'gender', 'fale', 50, 40))
test.append((1, 'height', '172cm', 50, 40))
test.append((1, 'weight', '70kg', 50, 40))
df = spark.createDataFrame(test,['user_id', 'attr_name','attr_value', 'income', 'expenses'])

createDataFrame有一个参数,samplingRatio。这个参数的含义是:如果df的某列的类型不确定,则抽样百分之samplingRatio的数据来看是什么类型。因此,我们一般设定其为1。即,只要该列有1个数据不为空,该列的类型就不会为null。

RDD与spark_df

RDD-spark_df

dataframe = spark.createDataFrame(RDD)

spark_df-RDD

RDD = spark_df.rdd.map(lambda x:x)

pandas_df 与 spark_df转换

pandas_pd=saprk_df.toPandas()
spark_df = spark.createDataFrame(pandas_df)
  • 1
    点赞
  • 0
    评论
  • 6
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值