【pyspark】三 TypeError: Can not infer schema for type: type ‘str‘ 问题

百物易用是苏生

于 2019-05-17 10:49:20 发布

阅读量1.1w

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/u010720408/article/details/90288980

版权

spark 专栏收录该内容

27 篇文章

订阅专栏

环境 spark 2.3.1 zeppelin中%pyspark   python 2.7

TypeError: Can not infer schema for type: <type 'str'>

多个rdd union之后，toDF().write.csv(path)出现如上异常

即不能推断出类型。测试toDF().show()也不行

后发现是多个rdd间，列数不一致，导致toDF()失败
比如：

resultRDD=sc.parallelize(["colName1","colName2","colName3","colName4"])
resultRDD=resultRDD.uinon(sc.parallelize([("value1","value2","value3","value4")]))
resultRDD.toDF().show()

就会出现：TypeError: Can not infer schema for type: <type ‘str’>
因为前一个忘了括号，导致第一个rdd是四行一列。
RDD的union和DataFrame不一样，不那么严格，随便什么数据都能union。
所以比较容易出现这种错误，需要仔细检查列数是否对上，然后类型是否能对上。