spark内置数据类型

后季暖

于 2023-11-21 17:45:19 发布

阅读量867

点赞数

文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/weixin_51981189/article/details/134536116

版权

本文讲述了在Scala中使用Spark进行编程时，如何将数据源字段转换为SparkSQL中的相应数据类型，以便构造DataFrame的Schema，以满足SQL创建表的需求。详细列举了各种数据类型及其在SparkSQL中的应用实例。

摘要由CSDN通过智能技术生成

在用scala编写spark的时候，假如我现在需要将我spark读的数据源的字段，做一个类型转换，因

为需求中要拼接出sql的create table语句，需要每个字段的sql中的类型，那么就需要去和sparksql

中的内置数据类型去比对。

写spark的时候，创建df后用schema算子得到了structField类，查看了源码以后，发现

这个样例类的三个参数：name、dataType、nullable、（metadata）

发现第二个参数是这个包下的

于是查阅资料发现一共有这些参数：

整数类型:

IntegerType 或 IntType: 32 位有符号整数。
LongType: 64 位有符号整数。
ShortType: 16 位有符号整数。
ByteType: 8 位有符号整数。
浮点数类型:

FloatType: 单精度浮点数。
DoubleType: 双精度浮点数。
十进制类型:

DecimalType: 固定精度和固定规模的十进制数。
布尔类型:

BooleanType: 用于表示布尔值（true 或 false）。
字符串类型:

StringType: 用于表示字符串。
二进制类型:

BinaryType: 用于表示二进制数据。
日期和时间类型:

DateType: 用于表示日期。
TimestampType: 用于表示日期和时间。
数组类型:

ArrayType: 用于表示数组。
映射类型:

MapType: 用于表示键值对的映射。
结构类型:

StructType: 用于表示结构化的数据，可以包含多个字段。
空类型:

NullType: 用于表示空值。

这些数据类型都属于 org.apache.spark.sql.types 包，并在 Spark SQL 中提供用于构建 DataFrame 模式的工具。在创建 DataFrame 时，你可以使用这些数据类型来定义每列的数据类型。例如：

import org.apache.spark.sql.types._

val schema = StructType(Seq(
  StructField("name", StringType, true),
  StructField("age", IntegerType, false),
  StructField("salary", DoubleType, true)
))

val df = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)