Spark 从RDD构建Dataframe

from pyspark.sql.types import StringType,StructField,StructType

StructField：用来生成dataframe的列名（fields）

 

根据数据来生成fields，少的时候可是徒手输入，多了就要自动构建了

fields = [StructField("f"+str(i),StringType(),True) for i in range(55)]

 

schema = StructType(fields)

 

构建fields时候，最好都先要把类型设置为StringType（），之后再进行转换。StringType()毕竟靠谱，不会报错。