1. rdd明明有数据,toDF()后数据变成null了?
第三列和第四列可现实的是int型,null的是string型
原因:rdd允许一列有两种数据类型,而spark的dataframe不支持
解决办法:只需要将数据类型统一即可
2.dataframe数据类型兼容性差
比如:dataframe某一列的type是float,如果往这列加入int,则所有的int将会变成null
1. rdd明明有数据,toDF()后数据变成null了?
第三列和第四列可现实的是int型,null的是string型
原因:rdd允许一列有两种数据类型,而spark的dataframe不支持
解决办法:只需要将数据类型统一即可
2.dataframe数据类型兼容性差
比如:dataframe某一列的type是float,如果往这列加入int,则所有的int将会变成null