Pyspark中的DataFrame操作汇总

1. 读取csv文件为DataFrame

通过Pyspark直接读取csv文件可以直接以DataFrame类型进行读取，通过利用schema模式来进行指定模式。

假设我有一个.csv文件，里面有四列数据，长这样，

该.csv文件没有header。分别为用户id，电影id， 电影评分，时间戳 

通过导入Spark SQL中引入数据类型，

import pyspark.sql.types as typ
movie_labels=[('user_id' ,typ.IntegerType()),('product_id',typ.IntegerType()),('rating_id',typ.StringType()),('time_stamp',typ.StringType())]
movie_schema=typ.StructType([typ.StructField(e[0],e[1],False) for e in movie_labels])
movie_rdd =spark.read.csv("/data/lin/train_data/movie_test/u.csv",header=False,schema=movie_schema,sep=",")
movie_rdd.show(2)

StructField可以被分解为一下部分   StructField(name, dataType,nul