pyspark下dataframe的8种创建方式

前言

在spark下，有很多种创建dataframe的方法，下面会一一例举

from pyspark.sql import SparkSession
from datetime import datetime,date
from pyspark.sql.types import *
import pandas as pd
from pyspark.sql import Row
spark = SparkSession.builder.appName('test').master('local').getOrCreate()

方式1：从list中创建dataframe

在这种方式中，每一个list种，就代表着dataframe种的一行数据，好比是一个样本

df = spark.createDataFrame([
    [1,2,'string1'],
    [3,4,'string3']
])
df

DataFrame[_1: bigint, _2: bigint, _3: string]

df.show()

+---+---+-------+
| _1| _2|     _3|
+---+---+-------+
|  1|  2|string1|
|  3|  4|string3|
+---+---+-------+

从以上的结果中可以看出，系统通过list构建了一个2行3列的dataframe。
值得注意的地方有两点：
第一点：列名我们事先并没有指定，所以系统会自动给我们添加了列名【_1,_2,_3】
第二点：每一列的值的类型我们也没有指定，是系统自动给我们推算出来的，数字的被定义为bigint，字符串被定义为string。

隐藏的炸弹：
1.以上显然列名我们是需要的，所以我们应该想办法添加列名，而不是系统自己给我们分配的，
2.系统自己根据数据来推断数据类型，前提一定是数据要一致，如果不一致，如：

df = spark.createDataFrame([
    [1,'leon','string1'],
    [3,4,'string3']
])

系统对于第二列就不知道该将其定义为bigint还是string类型。
所以为了改善以上的两个点，引入了schema

schema定义

schema本质就是用来手动指定dataframe的列名和数据类型

schema的第一种写法

构建一个StructType类型，里面是由StructField组成的list

_schema1 = StructType([
    StructField('a',IntegerType(),True),
    StructField('b',IntegerType(),True),
    StructField('c',StringType(),True)
])
df = spark.createDataFrame([
    [1,2,'string1'],
    [3,4,'string3']
],schema=_schema1)
df

DataFrame[a: int, b: int, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2|string1|
|  3|  4|string3|
+---+---+-------+

schema的第二种写法

用一个字符串表示，列名和类型用空格隔开，列之间用逗号隔开

_schema2 = 'a long, b long , c string '
df = spark.createDataFrame([
    [1,2,'string1'],
    [3,4,'string3']
],schema=_schema2)
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2|string1|
|  3|  4|string3|
+---+---+-------+

方式2：从字典中创建dataframe

注意的是，和list不一样，这里必须指定列名。
这里键就是列名，列名必须用引号，值是对应的值，表示具体某一列下某一行的值

df = spark.createDataFrame([
    {'a':1,'b':2,'c':'string1'},
    {'a':3,'b':3,'c':'string2'}
])
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2|string1|
|  3|  3|string2|
+---+---+-------+

同样的，虽然列名我们已经指定，但是数据的类型我们没有指定，依旧是系统自己给我们推测出来的，如果我们要自己指定也行，那就是上面讲的schema

df = spark.createDataFrame([
    {'a':1,'b':2,'c':'string1'},
    {'a':3,'b':3,'c':'string2'}
],schema='a long,b long , c string')
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2|string1|
|  3|  3|string2|
+---+---+-------+

值得留意的是，用schema指定数值类型的时候，也要完整的写schema（列名+数值类型）

方式3：从row中创建

注意这里和用字典创建的时候不同，这里的列名不需要引号
当不指定schema时，数据类型是系统推测出来，自己也可以手动指定

df = spark.createDataFrame([
    Row(a=1,b=2,c='string1'),
    Row(a=3,b=4,c='string2')
])
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2|string1|
|  3|  4|string2|
+---+---+-------+

方式4：从pandas中的dataframe中创建

当不指定schema时，数据类型是系统推测出来，自己也可以手动指定

pandas_df = pd.DataFrame({
    'a':[1,2],
    'b':[3,4],
    'c':['string1','string1']
})
df = spark.createDataFrame(pandas_df)
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  3|string1|
|  2|  4|string1|
+---+---+-------+

方式5：从rdd中创建

当不指定schema时，列名和数据类型是系统推测出来，自己也可以手动指定

不指定schema

rdd = spark.sparkContext.parallelize([
    (1,2,'strin1'),
    (3,4,'string2')
])
df = spark.createDataFrame(rdd)
df

DataFrame[_1: bigint, _2: bigint, _3: string]

df.show()

+---+---+-------+
| _1| _2|     _3|
+---+---+-------+
|  1|  2| strin1|
|  3|  4|string2|
+---+---+-------+

指定schema

1.单独指定列名时，数值类型由系统推测出来

rdd = spark.sparkContext.parallelize([
    (1,2,'strin1'),
    (3,4,'string2')
])
df = spark.createDataFrame(rdd,schema=['a','b','c'])
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2| strin1|
|  3|  4|string2|
+---+---+-------+

2.列名和数值类型都由我们制定

rdd = spark.sparkContext.parallelize([
    (1,2.,'strin1'),
    (3,4.,'string2')
])
df = spark.createDataFrame(rdd,schema='a long,b double,c string')
df

DataFrame[a: bigint, b: double, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|2.0| strin1|
|  3|4.0|string2|
+---+---+-------+

3.还有从rdd种创建dataframe的方法，那就是rdd提供的toDF()方法，这也是在开发种最常用的方法

rdd = spark.sparkContext.parallelize([
    (1,2,'strin1'),
    (3,4,'string2')
])
df = rdd.toDF(schema=_schema1)
df

DataFrame[a: int, b: int, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2| strin1|
|  3|  4|string2|
+---+---+-------+

方式6：从元组中创建

本质和用list创建是一毛一样滴

df = spark.createDataFrame([
    (1,2,'string1'),
    (3,4,'string2')
])
df

DataFrame[_1: bigint, _2: bigint, _3: string]

df.show()

+---+---+-------+
| _1| _2|     _3|
+---+---+-------+
|  1|  2|string1|
|  3|  4|string2|
+---+---+-------+

增加schema

df = spark.createDataFrame([
    (1,2,'string1'),
    (3,4,'string2')
],schema='a long,b long,c string')
df

DataFrame[a: bigint, b: bigint, c: string]

df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  2|string1|
|  3|  4|string2|
+---+---+-------+

方式7：从csv中创建

1.通用的加载方式
下面只是罗列了这个函数所有的形参。
当所读csv中有表头时：指定inferSchema=“true”,header=‘true’，不指定schema
当所读的csv中美哟表头，指定schema，不指定inferSchema=“true”,header=‘true’

df = spark.read.load('./test.csv',format='csv',sep= ',',inferSchema="true",header='true',schema='col1 long, col2 long ,col3 string')
df.show()

+----+----+-------+
|col1|col2|   col3|
+----+----+-------+
|   1|   3|string1|
|   2|   4|string2|
+----+----+-------+

2.专用读取方式
关于读取的设置，需要在options中完成，也可以在option中完成，如果使用option时，一次只能设置一个，如果使用options，一次可以设置多个

df = spark.read.options(delimiter=',',inferSchema='true',header='true').csv('./test.csv')
df.show()

+---+---+-------+
|  a|  b|      c|
+---+---+-------+
|  1|  3|string1|
|  2|  4|string2|
+---+---+-------+

方式8：从json中读取

1.通用的加载方式
下面只是罗列了这个函数所有的形参。
当所读csv中有表头时：指定inferSchema=“true”,header=‘true’，不指定schema
当所读的csv中美哟表头，指定schema，不指定inferSchema=“true”,header=‘true’

json格式如下
{“name”: “leon”,“age”: “4”}
{“name”: “traveler”,“age”: “5”}
1.通用加载方式

df = spark.read.load('./test.json',format='json',inferSchema='true',header='true')
df

DataFrame[age: string, name: string]

df.show()

+---+--------+
|age|    name|
+---+--------+
|  4|    leon|
|  5|traveler|
+---+--------+

2.专有读取方式

df = spark.read.json('./test.json')
df

DataFrame[age: string, name: string]

df.show()

+---+--------+
|age|    name|
+---+--------+
|  4|    leon|
|  5|traveler|
+---+--------+