【pyspark】三 TypeError: Can not infer schema for type: type ‘str‘ 问题

环境 spark 2.3.1 zeppelin中%pyspark   python 2.7

TypeError: Can not infer schema for type: <type 'str'>

多个rdd union之后，toDF().write.csv(path)出现如上异常

即不能推断出类型。测试toDF().show()也不行

后发现是多个rdd间，列数不一致，导致toDF()失败
比如：

resultRDD=sc.parallelize(["colName1","colName2","colName3","colName4"])
resultRDD=resultRDD.uinon(sc.parallelize([("value1","value2","value3","value4")]))
resultRDD.toDF().show()

就会出现：TypeError: Can not infer schema for type: <type ‘str’>
因为前一个忘了括号，导致第一个rdd是四行一列。
RDD的union和DataFrame不一样，不那么严格，随便什么数据都能union。
所以比较容易出现这种错误，需要仔细检查列数是否对上，然后类型是否能对上。

即注意RDD.union()是不严格的，toDF(*colName)前要保证列数和类型对应上