PySpark之SparkSQL的DataFrame介绍

一、DataFrame的组成

一、在结构层面

• StructType对象描述整个DataFrame的表结构
• StructField对象描述一个列的信息

二、在数据层面

• Row对象记录一行数据
• Column对象记录一列数据并包含列的信息

三、实例

struct_type = StructType().\			// StructType
	add("id",IntegerType(),False).\		// StructField
    add("name",StringType(),True).\		// StructField
    add("age",IntegerType(),False)		// StructField

• 一个StructField记录：列名、列类型、列是否运行为空，多个StructField组成一个StructType对象
• 一个StructType对象可以描述一个DataFrame：有几个列、每个列的名字和类型、每个列是否为空
• 一行数据描述为Row对象，如Row(1,张三,11)
• 一列数据描述为Column对象，Column对象包含一列数据和列的信息