快速入门pyspark(总结)

开始我的spark之旅~

import  findspark
findspark.init()

import  pyspark
from pyspark.sql import SparkSession
from pyspark.sql.types import StringType,DoubleType
spark=SparkSession.builder.appName('data_processing').getOrCreate()
df=spark.read.csv('test.csv',inferSchema=True,header=True)
print(df.columns) #输出列名, is a list
print(len(df.columns)) #输出列数
print(df.count) #输出记录数
print(df.printSchema) #查看所有的列
print(df.show(5))  #输出前5行
print(df.describe().show()) #输出每列的统计指标
print(df.withColumn('age_after_10_years',df['age']+10).show()) #新增一列(字段)
df1=df.withColumn('age_after_10_years',df['age']+10)
#from pyspark.sql.types import StringType,DoubleType  ###注意，引入相关包的操作要放在前面
print(df.withColumn('age_double',df['age'].cast(DoubleType())).show) #新增一列
print(df.filter(df['age']>=30).show()) #根据某个字段筛选符合条件的行
print(df.filter(df['age']>=30).select('experience').show()) #筛选符合条件的行并输出具体的字段(列)
print(df.filter((df['age']>=30)&(df['experience']>=5)))  #根据多个字段的条件筛选符合条件的行
print(df.select('age').distinct().count()) #输出某列枚举值个数
print(df.groupBy('experience').count().show()) #对df进行groupby分组基数，当然可以求均值mean()\求和sum()\最大max()
print(df.groupBy('experience').count().orderBy('count',ascending=False).show()) #对groupby后的结果进行排序
print(df.groupBy('experience').sum('age').show()) #分组对某个字段求和
###或者也可以这么写
print(df.groupBy('experience').agg({'age':'sum'}).show())
from pyspark.sql.functions import  udf

df=df.dropDuplicates() #用于删除df重复的行
df=df.drop('age') #删除列