一、DataFrame的组成
一、在结构层面
- StructType对象描述整个DataFrame的表结构
- StructField对象描述一个列的信息
二、在数据层面
- Row对象记录一行数据
- Column对象记录一列数据并包含列的信息
三、实例
struct_type = StructType().\ // StructType
add("id",IntegerType(),False).\ // StructField
add("name",StringType(),True).\ // StructField
add("age",IntegerType(),False) // StructField
- 一个StructField记录:列名、列类型、列是否运行为空,多个StructField组成一个StructType对象
- 一个StructType对象可以描述一个DataFrame:有几个列、每个列的名字和类型、每个列是否为空
- 一行数据描述为Row对象,如Row(1,张三,11)
- 一列数据描述为Column对象,Column对象包含一列数据和列的信息