1.cdh5.13.3.p0.611179/lib/spark2/python/pyspark/sql/types.py", line 1400, in verify_struct
“length of fields (%d)” % (len(obj), len(verifiers))))
ValueError: Length of object (1) does not match with length of fields (8)
问题出在rdd转换成dataframe时有一个schema,但是有些rdd是空的,所以无法拆分转换会出错。
通过
def f(x):
for y in x:
if len(y) == 0:
print(str(x) + 'line empty\r\n')
rdd3.foreach(f)
日志打印出来有存在内容为空的rdd。