ceil函数_pyspark常用函数

一、创建dataframe

1、直接创建Dataframe spark.createDataFrame(data, schema=None, samplingRatio=None)，直接创建，其中：
data是行或元组或列表或字典的RDD、list、pandas.DataFrame：

df = spark.createDataFrame([
        (1, 144.5, 5.9, 33, 'M'),
        (2, 167.2, 5.4, 45, 'M'),
        (3, 124.1, 5.2, 23, 'F'),
        (4, 144.5, 5.9, 33, 'M'),
        (5, 133.2, 5.7, 54, 'F'),
        (3, 124.1, 5.2, 23, 'F'),
        (5, 129.2, 5.3, 42, 'M'),
    ], ['id', 'weight', 'height', 'age', 'gender'])

2、从字典创建

df = spark.createDataFrame([{'name':'Alice','age':1},
    {'name':'Polo','age':1}])

3、读取的方式创建

df = spark.read.parquet("brand_base/*")
df = spark.read.csv('/user/python/test.csv',header=True)
df = spark.read.json('user/python/people.json')
df = spark.read.text('user/python/test.txt', wholetext=True)

二、基础操作

1、查看列名：color_df.columns
2、查看字段类型：printSchema()
3、查看行列数：print((df.count(), len(df.columns)))
4、前n行：df.limit(3).show() 获取指定DataFrame的前n行记录，得到一个新的DataFrame对象,li