PySpark:使用RDD转化为DataFrame时报错TypeError: Can not infer schema for type: ＜class ‘str‘＞

Spark版本：V3.2.1

  前文介绍过说可以将Spark RDD转化为Spark DataFrame，具体可以参考博客：https://blog.csdn.net/yeshang_lady/article/details/89528090。这篇博客仅介绍再将RDD转化为DataFrame时需要注意的问题，从下面的代码开始：

from pyspark.sql.types import *
from pyspark.sql import SparkSession
from pyspark import SparkContext, SparkConf
import os
import pandas as pd
import graphframes

os.environ['SPARK_HOME'] ='/Users/sherry/documents/spark/spark-3.2.1-bin-hadoop3.2'
spark_conf = SparkConf().setAppName('Python_Spark_WordCount')\
            .setMaster('local[2]') 
sc = SparkContext(conf=spark_conf)
spark=SparkSession.builder.appName("rdd_to_df").getOrCreate()

nodes=sc.textFile(r'/Users/sherry/Downloads/nodes')
nodes_df=spark.createDataFrame(node1,['id'])

上述代码在执行到最后一条语句创建DataFrame时，会提示以下报错信息TypeError: Can not infer schema for type: <class ‘str’>。具体如下：

从提示的信息来看是DataFrame在创建时没能正确推断出schema，所以尝试在创建DataFrame时主动添加schema信息，具体如下：

nodes=sc.textFile(r'/Users/sherry/Downloads/nodes')
nodes_df=spark.createDataFrame(nodes,'id STRING')

这个时候需要顺利执行了，但是在nodes_df上执行行动时会接着报错，具体如下：

nodes_df.show()

其报错信息如下TypeError: StructType can not accept object ‘208’ in type <class ‘str’>(部分截图)：

所以这个方案没有解决问题。回到最初，先来看看nodes这个RDD中的数据，具体如下：

从上述实验中可以看出，nodes的每一行都只有一个字符串元素(类型为str)，而使用createDataFrame()创建DataFrame时每行元素都是List型，所以这里将nodes中的每个元素改成List型，顺利解决问题。具体如下：

nodes=sc.textFile(r'/Users/sherry/Downloads/nodes')
nodes_1=nodes.map(lambda x:[x]) #转化为List
nodes_2=nodes.map(lambda x:(x,)) #转化为tuple
print(nodes_1.take(5))
print(nodes_2.take(5))
n1_df=spark.createDataFrame(nodes_1,['id'])
n2_df=spark.createDataFrame(nodes_2,['id'])
n1_df.show(5)
n2_df.show(5)

其结果如下：

总结：
在使用RDD构建DataFrame时，RDD中每行元素必须List型或类List型。