Spark SQL 日期和时间戳函数

最新推荐文章于 2024-09-19 15:21:32 发布
最新推荐文章于 2024-09-19 15:21:32 发布
阅读量1.2w 收藏 38
点赞数 4
分类专栏： spark 文章标签： spark sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sequoia00/article/details/125545011
版权
本文详细介绍了SparkSQL中用于处理日期和时间戳的函数，包括日期函数如current_date、date_format、to_date等，时间戳函数如current_timestamp、hour、minute等，以及日期和时间戳窗口函数。示例展示了如何使用这些函数进行日期和时间的转换、计算和截断，帮助读者更好地理解和应用SparkSQL的日期时间操作。
摘要由CSDN通过智能技术生成

Spark SQL 日期和时间戳函数

Spark SQL 提供了内置的标准 Date 和 Timestamp函数，定义在 DataFrame API 中，所有函数都接受输入日期类型、时间戳类型或字符串。如果是String，是可以转换成日期格式，比如yyyy-MM-dd 或 yyyy-MM-dd HH:mm:ss.SSSS，分别返回date和timestamp；如果输入数据是无法转换为日期和时间戳的字符串，也返回 null。

尽可能尝试利用标准库，因为与Spark UDF相比，它们在编译时更安全、可以处理 null 并且性能更好。

为了便于阅读，将 Date 和 Timestamp 函数分为以下几组。

  • [Spark SQL 日期函数 ]
  • [Spark SQL 时间戳函数]
  • [日期和时间戳窗口函数]

在使用以下任何示例之前，请确保[创建 sparksession]


import org.apache.spark.sql.SparkSession
val spark:SparkSession = SparkSession.builder()
    .master("local[3]")
    .appName("SparkByExample")
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")
import spark.sqlContext.implicits._
import org.apache.spark.sql.functions._

Spark SQL 日期函数

DATE FUNCTION SIGNATUREDATE FUNCTION DESCRIPTION
current_date () : ColumnReturns the current date as a date column.
date_format(dateExpr: Column, format: String): ColumnConverts a date/timestamp/string to a value of string in the format specified by the date format given by the second argument.
to_date(e: Column): ColumnConverts the column into DateType by casting rules to DateType.
to_date(e: Column, fmt: String): ColumnConverts the column into a DateType with a specified format
add_months(startDate: Column, numMonths: Int): ColumnReturns the date that is numMonths after startDate.
date_add(start: Column, days: Int): Column
date_sub(start: Column, days: Int): ColumnReturns the date that is days days after start
datediff(end: Column, start: Column): ColumnReturns the number of days from start to end.
months_between(end: Column, start: Column): ColumnReturns number of months between dates start and end. A whole number is returned if both inputs have the same day of month or both are the last day of their respective months. Otherwise, the difference is calculated assuming 31 days per month.
months_between(end: Column, start: Column, roundOff: Boolean): ColumnReturns number of months between dates end and start. If roundOff is set to true, the result is rounded off to 8 digits; it is not rounded otherwise.
next_day(date: Column, dayOfWeek: String): ColumnReturns the first date which is later than the value of the date column that is on the specified day of the week.
For example, next_day('2015-07-27', "Sunday") returns 2015-08-02 because that is the first Sunday after 2015-07-27.
trunc(date: Column, format: String): ColumnReturns date truncated to the unit specified by the format.
For example, trunc("2018-11-19 12:01:19", "year") returns 2018-01-01
format: ‘year’, ‘yyyy’, ‘yy’ to truncate by year,
‘month’, ‘mon’, ‘mm’ to truncate by month
date_trunc(format: String, timestamp: Column): ColumnReturns timestamp truncated to the unit specified by the format.
For example, date_trunc("year", "2018-11-19 12:01:19") returns 2018-01-01 00:00:00
format: ‘year’, ‘yyyy’, ‘yy’ to truncate by year,
‘month’, ‘mon’, ‘mm’ to truncate by month,
‘day’, ‘dd’ to truncate by day,
Other options are: ‘second’, ‘minute’, ‘hour’, ‘week’, ‘month’, ‘quarter’
year(e: Column): ColumnExtracts the year as an integer from a given date/timestamp/string
quarter(e: Column): ColumnExtracts the quarter as an integer from a given date/timestamp/string.
month(e: Column): ColumnExtracts the month as an integer from a given date/timestamp/string
dayofweek(e: Column): ColumnExtracts the day of the week as an integer from a given date/timestamp/string. Ranges from 1 for a Sunday through to 7 for a Saturday
dayofmonth(e: Column): ColumnExtracts the day of the month as an integer from a given date/timestamp/string.
dayofyear(e: Column): ColumnExtracts the day of the year as an integer from a given date/timestamp/string.
weekofyear(e: Column): ColumnExtracts the week number as an integer from a given date/timestamp/string. A week is considered to start on a Monday and week 1 is the first week with more than 3 days, as defined by ISO 8601
last_day(e: Column): ColumnReturns the last day of the month which the given date belongs to. For example, input “2015-07-27” returns “2015-07-31” since July 31 is the last day of the month in July 2015.
from_unixtime(ut: Column): ColumnConverts the number of seconds from unix epoch (1970-01-01 00:00:00 UTC) to a string representing the timestamp of that moment in the current system time zone in the yyyy-MM-dd HH:mm:ss format.
from_unixtime(ut: Column, f: String): ColumnConverts the number of seconds from unix epoch (1970-01-01 00:00:00 UTC) to a string representing the timestamp of that moment in the current system time zone in the given format.
unix_timestamp(): ColumnReturns the current Unix timestamp (in seconds) as a long
unix_timestamp(s: Column): ColumnConverts time string in format yyyy-MM-dd HH:mm:ss to Unix timestamp (in seconds), using the default timezone and the default locale.
unix_timestamp(s: Column, p: String): ColumnConverts time string with given pattern to Unix timestamp (in seconds).

Spark SQL 时间戳函数

下面是一些 Spark SQL Timestamp 函数，这些函数对日期和时间戳值都进行操作。选择每个链接以获取每个功能的描述和示例。

Spark Timestamp 的默认格式是yyyy-MM-dd HH:mm:ss.SSSS

TIMESTAMP FUNCTION SIGNATURETIMESTAMP FUNCTION DESCRIPTION
current_timestamp () : ColumnReturns the current timestamp as a timestamp column
hour(e: Column): ColumnExtracts the hours as an integer from a given date/timestamp/string.
minute(e: Column): ColumnExtracts the minutes as an integer from a given date/timestamp/string.
second(e: Column): ColumnExtracts the seconds as an integer from a given date/timestamp/string.
to_timestamp(s: Column): ColumnConverts to a timestamp by casting rules to TimestampType.
to_timestamp(s: Column, fmt: String): ColumnConverts time string with the given pattern to timestamp.

Spark 日期和时间戳窗口函数

下面是数据和时间戳窗口函数。

DATE & TIME WINDOW FUNCTION SYNTAXDATE & TIME WINDOW FUNCTION DESCRIPTION
window(timeColumn: Column, windowDuration: String,
slideDuration: String, startTime: String): ColumnBucketize rows into one or more time windows given a timestamp specifying column. Window starts are inclusive but the window ends are exclusive, e.g. 12:05 will be in the window [12:05,12:10) but not in [12:00,12:05). Windows can support microsecond precision. Windows in the order of months are not supported.
window(timeColumn: Column, windowDuration: String, slideDuration: String): ColumnBucketize rows into one or more time windows given a timestamp specifying column. Window starts are inclusive but the window ends are exclusive, e.g. 12:05 will be in the window [12:05,12:10) but not in [12:00,12:05). Windows can support microsecond precision. Windows in the order of months are not supported. The windows start beginning at 1970-01-01 00:00:00 UTC
window(timeColumn: Column, windowDuration: String): ColumnGenerates tumbling time windows given a timestamp specifying column. Window starts are inclusive but the window ends are exclusive, e.g. 12:05 will be in the window [12:05,12:10) but not in [12:00,12:05). Windows can support microsecond precision. Windows in the order of months are not supported. The windows start beginning at 1970-01-01 00:00:00 UTC.

Spark 日期函数示例

以下是最常用的日期函数示例。

current_date() 和 date_format()

如何使用 Scala 示例中的 date_format() 获取当前日期并将日期转换为特定的日期格式。下面的示例解析日期并从 ‘yyyy-dd-mm’ 转换为 ‘MM-dd-yyyy’ 格式。


import org.apache.spark.sql.functions._
Seq(("2019-01-23"))
  .toDF("Input")
  .select( 
    current_date()as("current_date"), 
    col("Input"), 
    date_format(col("Input"), "MM-dd-yyyy").as("format") 
  ).show()



+------------+----------+-----------+ 
|current_date| Input    |format      | 
+------------+----------+-----------+ 
| 2019-07-23 |2019-01-23| 01-23-2019 |
 +------------+----------+-----------+

to_date（）

to_date()下面的示例使用Scala 示例将日期格式 ‘MM/dd/yyyy’ 的字符串转换为 DateType ‘yyyy-MM-dd’ 。


import org.apache.spark.sql.functions._
Seq(("04/13/2019"))
   .toDF("Input")
  .select( col("Input"), 
           to_date(col("Input"), "MM/dd/yyyy").as("to_date") 
   ).show()



+----------+----------+ 
|Input     |to_date   | 
+----------+----------+ 
|04/13/2019|2019-04-13| 
+----------+----------+

datediff（）

datediff()下面的示例使用with Scala 示例返回两个日期之间的差异。


import org.apache.spark.sql.functions._
Seq(("2019-01-23"),("2019-06-24"),("2019-09-20"))
   .toDF("input")
   .select( col("input"), current_date(), 
       datediff(current_date(),col("input")).as("diff") 
    ).show()



+----------+--------------+--------+ 
| input    |current_date()| diff   | 
+----------+--------------+--------+ 
|2019-01-23| 2019-07-23   | 181    | 
|2019-06-24| 2019-07-23   | 29     | 
|2019-09-20| 2019-07-23   | -59    | 
+----------+--------------+--------+

months_between（）

months_between()下面的示例使用Scala 语言返回两个日期之间的月份。


import org.apache.spark.sql.functions._
Seq(("2019-01-23"),("2019-06-24"),("2019-09-20"))
   .toDF("date")
  .select( col("date"), current_date(), 
       datediff(current_date(),col("date")).as("datediff"), 
       months_between(current_date(),col("date")).as("months_between")
   ).show()



+----------+--------------+--------+--------------+ 
| date     |current_date()|datediff|months_between| 
+----------+--------------+--------+--------------+ 
|2019-01-23| 2019-07-23   |     181|           6.0| 
|2019-06-24| 2019-07-23   |      29|    0.96774194| 
|2019-09-20| 2019-07-23   |     -59|   -1.90322581| 
+----------+--------------+--------+--------------+

trunc（）

trunc()下面的示例使用Scala 语言在指定单位截断日期。


import org.apache.spark.sql.functions._
Seq(("2019-01-23"),("2019-06-24"),("2019-09-20"))
    .toDF("input")
    .select( col("input"), 
          trunc(col("input"),"Month").as("Month_Trunc"), 
          trunc(col("input"),"Year").as("Month_Year"), 
          trunc(col("input"),"Month").as("Month_Trunc") 
     ).show()



+----------+-----------+----------+-----------+ 
| input    |Month_Trunc|Month_Year|Month_Trunc| 
+----------+-----------+----------+-----------+ 
|2019-01-23| 2019-01-01|2019-01-01| 2019-01-01| 
|2019-06-24| 2019-06-01|2019-01-01| 2019-06-01| 
|2019-09-20| 2019-09-01|2019-01-01| 2019-09-01|
+----------+-----------+----------+-----------+

add_months() , date_add(), date_sub()

在这里，我们从给定的输入中添加和减去日期和月份。


import org.apache.spark.sql.functions._
Seq(("2019-01-23"),("2019-06-24"),("2019-09-20")).toDF("input")
  .select( col("input"), 
      add_months(col("input"),3).as("add_months"), 
      add_months(col("input"),-3).as("sub_months"), 
      date_add(col("input"),4).as("date_add"), 
      date_sub(col("input"),4).as("date_sub") 
   ).show()



+----------+----------+----------+----------+----------+ 
| input    |add_months|sub_months| date_add | date_sub | 
+----------+----------+----------+----------+----------+ 
|2019-01-23|2019-04-23|2018-10-23|2019-01-27|2019-01-19| 
|2019-06-24|2019-09-24|2019-03-24|2019-06-28|2019-06-20| 
|2019-09-20|2019-12-20|2019-06-20|2019-09-24|2019-09-16| 
+----------+----------+----------+----------+----------+

year（），month（），month（）

dayofweek(), dayofmonth(), dayofyear()

next_day(), weekofyear()


import org.apache.spark.sql.functions._
Seq(("2019-01-23"),("2019-06-24"),("2019-09-20"))
  .toDF("input")
  .select( col("input"), year(col("input")).as("year"), 
       month(col("input")).as("month"), 
       dayofweek(col("input")).as("dayofweek"), 
       dayofmonth(col("input")).as("dayofmonth"), 
       dayofyear(col("input")).as("dayofyear"), 
       next_day(col("input"),"Sunday").as("next_day"), 
       weekofyear(col("input")).as("weekofyear") 
   ).show()



+----------+----+-----+---------+----------+---------+----------+----------+
| input|year|month|dayofweek|dayofmonth|dayofyear| next_day|weekofyear| 
+----------+----+-----+---------+----------+---------+----------+----------+ 
|2019-01-23|2019| 1| 4| 23| 23|2019-01-27| 4| 
|2019-06-24|2019| 6| 2| 24| 175|2019-06-30| 26| 
|2019-09-20|2019| 9| 6| 20| 263|2019-09-22| 38| 
+----------+----+-----+---------+----------+---------+----------+----------+

Spark 时间戳函数示例

下面是最常用的时间戳函数示例。

current_timestamp()

以 spark 默认格式yyyy-MM-dd HH:mm:ss返回当前时间戳


import org.apache.spark.sql.functions._
val df = Seq((1)).toDF("seq")
val curDate = df.withColumn("current_date",current_date().as("current_date"))
 .withColumn("current_timestamp",current_timestamp().as("current_timestamp"))
curDate.show(false)



+---+------------+-----------------------+
|seq|current_date|current_timestamp      |
+---+------------+-----------------------+
|1  |2019-11-16  |2019-11-16 21:00:55.349|
+---+------------+-----------------------+

to_timestamp()

将字符串时间戳转换为时间戳类型格式。


import org.apache.spark.sql.functions._
  val dfDate = Seq(("07-01-2019 12 01 19 406"),
    ("06-24-2019 12 01 19 406"),
    ("11-16-2019 16 44 55 406"),
    ("11-16-2019 16 50 59 406")).toDF("input_timestamp")

  dfDate.withColumn("datetype_timestamp",
          to_timestamp(col("input_timestamp"),"MM-dd-yyyy HH mm ss SSS"))
    .show(false)



+-----------------------+-------------------+
|input_timestamp        |datetype_timestamp |
+-----------------------+-------------------+
|07-01-2019 12 01 19 406|2019-07-01 12:01:19|
|06-24-2019 12 01 19 406|2019-06-24 12:01:19|
|11-16-2019 16 44 55 406|2019-11-16 16:44:55|
|11-16-2019 16 50 59 406|2019-11-16 16:50:59|
+-----------------------+-------------------+

hour（），minute（）和second（）


import org.apache.spark.sql.functions._
  val df = Seq(("2019-07-01 12:01:19.000"),
    ("2019-06-24 12:01:19.000"),
    ("2019-11-16 16:44:55.406"),
    ("2019-11-16 16:50:59.406")).toDF("input_timestamp")

  df.withColumn("hour", hour(col("input_timestamp")))
    .withColumn("minute", minute(col("input_timestamp")))
    .withColumn("second", second(col("input_timestamp")))
    .show(false)



+-----------------------+----+------+------+
|input_timestamp        |hour|minute|second|
+-----------------------+----+------+------+
|2019-07-01 12:01:19.000|12  |1     |19    |
|2019-06-24 12:01:19.000|12  |1     |19    |
|2019-11-16 16:44:55.406|16  |44    |55    |
|2019-11-16 16:50:59.406|16  |50    |59    |
+-----------------------+----+------+------+

结论：

在这篇文章中，整合了 Spark 日期和时间戳函数的完整列表以及一些常用的描述和示例。

风翔
关注
专栏目录
Spark实用议题系列（04）--- 用于列操作的日期时间函数
timothyzh的专栏
07-16 800
Table of Contents 操作日期的函数 日期和时标的格式函数 提取时间元素的函数 Unix时间和时区的函数 时间的窗函数 因为Spark主要是对DataFrame的处理，所以有一个包org.apache.spark.sql.functions._包含了所有对DataFrame中的列操作，链接是：https://spark.apache.org/docs/2.4.3/api/...
数据库时间转换函数
08-30
通过数据库时间函数运算获得各种想要的时间，月的第一天，周的第一天，当天的开始时间，结束时间等。
SparkSQL和Spark常用语句
-
09-19 686
df1.join(df2, Seq(“id”)).show() // 适用于相同列名的简单连接。行动操作（例如：collect, count, reduce）初始化 SparkConf 和 SparkContext。Spark 常用语句（Spark Core）df.show(5) // 展示前5条记录。Spark SQL 常用语句。打印模式（Schema）过滤（Filter）
Spark的常用SQL日期函数
ProBaiXiaodi的博客
01-12 9281
Spark的常用SQL日期函数
sql Spark 时间处理函数
weixin_43752504的博客
03-06 4915
sql Spark 时间处理函数
spark sql之日期函数
dair6的博客
11-10 1万+
1.data_format 小时取整 2.current_data 3.now()获取当前时间 4.day()日 5.to_date，字符串转换为日期 6.date_add，n天后的日期,可以为负数 7.last_day(),取月末日期 8.datediff日期相减 9.trunc截取年’YEAR’或者月’MM’，其余默认为01 截月 截年 ...
sparksql 时间函数
OH LEI``
07-14 1万+
一、获取当前时间 1.current_date获取当前日期 2018-04-09 2.current_timestamp/now()获取当前时间 2018-04-09 15:20:49.247 3.时间戳转换字符串格式 from_unixtime(cloumn,'yyyy-MM-dd HH:mm:ss') 二、从日期时间中提取字段 1.year,month,day/dayofmonth,...
spark SQL字段转时间戳
05-27
该函数将给定的日期字符串转换为Spark SQL中的时间戳。 下面是一个示例代码： ``` SELECT to_timestamp('2022-08-01 10:30:00', 'yyyy-MM-dd HH:mm:ss') ``` 这将返回一个时间戳对象，表示给定日期字符串的时间戳...
spark SQL如何将时间戳转化为数据格式
最新发布
09-30
Spark SQL提供了一种方便的方式来处理时间戳，并将其转换成更易读的数据格式。你可以使用`from_unixtime()`函数或者`to_date()`、`to_timestamp()`等函数来进行转换。以下是基本步骤： 1. **将Unix时间戳转为日期...
【spark床头书系列】Spark SQL示例用法所有函数示例权威详解二【建议收藏】
wang2leee的博客
11-26 1038
Spark SQL示例用法所有函数示例权威详解二
SparkSQL日期时间模式详解
SunnyRivers
08-26 227
SparkSQL中的日期时间模式，可能大部分人只了解其中的某部分内容，我们尽可能的把所有的日期模式进行一个全面的了解，这样在使用的时候就能游刃有余。
spark sql 转换时间戳
06-08
Spark SQL中的时间戳转换通常涉及到日期和时间数据类型的操作，比如将字符串转换为时间戳，或将一个时间戳列按照特定格式展示。以下是一些基本操作： 1. 将字符串转换为时间戳：你可以使用`to_timestamp`函数将字符...
PHP学习笔记-->009 PHP Date / Time 函数
weixin_34268843的博客
02-14 310
Date / Time函数允许提取并格式化服务器上的日期和时间，依赖于服务器的本地设置。 Runtime 配置 日期/时间函数的行为受到 php.ini 中设置的影响。 Date/Time 配置选项： 名称 默认 描述 可改变 ...
Spark sql 常用时间函数
南风知我意
06-26 5199
List functioncurrent_date() 当前日期 now() 或 current_timestamp() 当前时间 datediff(endDate, startDate) 日期相差天数 months_between(endDate, startDate) 日期相差月数 date_add(startDate, numDays) 日期加N天 date_sub(startDate, numDays) 日期减N天 add_months(startDa
Spark SQL 内置函数（三）Date and Timestamp Functions（基于 Spark 3.2.0）
Shockang的博客
11-25 4912
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 add_months(start_date, num_months) 描述 Returns the date that is num_months after start_date. current_date() Returns the current date at the start of query
Spark Sql常用函数
mypowerhere的专栏
04-12 5466
current_date() 当前日期 select current_date(); --2022-02-22 now() 或 current_timestamp() 当前时间 select now(); select current_timestamp(); --2022-02-22 22:22:22 datediff(endDate, startDate) 日期相差天数 select datediff('2022-02-22','2022-02-20'); --2 months_bet...
sparksql中timestamp相关函数
weixin_33785972的博客
03-20 4318
2019独角兽企业重金招聘Python工程师标准>>> ...
spark日期时间处理
热门推荐
盛源的博客
07-25 1万+
spark中常用的日期时间函数 格式转换
sparksql 时间字符串转时间戳
weixin_36702094的博客
08-08 178
我整理的一些关于【SQL】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://edu.51cto.com/surl=QDW3g3SparkSQL时间字符串转时间戳的全面解析 在大数据处理和分析中，时间戳的使用尤为重要。通常，数据源中的时间字段可能以字符串格式存储，而在实际应用中，我们需要将这些时间字符串...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风翔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值