spark sql 数据类型转换_Databricks 第9篇：Spark SQL 基础（数据类型、NULL语义）

Spark SQL 支持多种数据类型，并兼容Python、Scala等语言的数据类型。sql

一，Spark SQL支持的数据类型

整数系列：函数

BYTE, TINYINT：表示1B的有符号整数

SHORT, SMALLINT：表示2B的有符号整数

INT, INTEGER：表示4B的有符号整数

LONG, BIGINT：表示8B的有符号整数

小数系列：spa

FLOAT, REAL：表示4B的单精度浮点数

DOUBLE：表示8B的双精度浮点数

DECIMAL, DEC, NUMERIC：表示任意精度的带符号十进制数字，精确数

日期和时间类型：unix

DATE：表示日期

TIMESTAMP：表示日期和时间

INTERVAL：表示Calendar Interval

其余类型：code

STRING：文本类型

BINARY：字节序列

BOOLEAN：布尔值

复合类型：orm

ARRAY

STRUCT

MAP

二，Spark SQL支持的数据类型和pyspark.sql.types 之间的映射关系

datetime.datetime 对应 TIMESTAMP

datetime.date 对应 DATE

list, tuple, array 对应 ARRAY 和 STRUCT

dict 对应MAP

int