在查看dataFrame的信息时,可以通过collect()、show()、或者take()、来查看DataFrame中的数据(show()和take()包含了限制返回行数的选项)
1.查看行数
可以使用count()方法查看DataFrame的行数
from pyspark.sql import SparkSession spark= SparkSession\ .builder \ .appName("dataFrame") \ .getOrCreate() # # 导入类型 from pyspark.sql.types import * #生成以逗号分隔的数据 stringCSVRDD = spark.sparkContext.parallelize([ (123,"Katie",19,"brown"), (234,"Michael",22,"green")