spark dateformat源码排错

最新推荐文章于 2024-04-24 19:02:34 发布
最新推荐文章于 2024-04-24 19:02:34 发布
阅读量495 收藏 5
点赞数 8
文章标签： spark 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43283487/article/details/135365685
版权

背景

有一个任务 yyyy写成了YYYY，导致年份不对触发告警

select from_unixtime(unix_timestamp(),'YYYY-MM-dd HH:mm:ss')

第一时间用spark dateformat搜索下看看官网，发现spark 官网也没有描述YYYY的信息

Datetime patterns - Spark 3.5.0 Documentation

从源码找原因

先搜下from_unixtime函数

a6c5de88cc74463a9829b5fbbd8fb0b3.png

878ed058e2d0464ea57574e5fb33281f.png

然后找到这个函数，一直点进去

2e7c2f96c14e4f8382011f06cb59654a.png

2108e98b48e9456a8876280809edef4e.png

接着点进去，找到这段

e34d4128736d477295e092468b38fa91.png

随便找一个 SimpleDateFormat 点进去

18c6151441374e57907e894a6cd2d762.png

这个其实还是用的jdk的format，这个Y是代表了Week year ，确实里面很多都没用过

orange大数据技术探索者
关注
  • 8
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
DateFormat_Dateformat_
10-02
Date Format with "-"
JavaScript DateFormat
03-31
NULL 博文链接：https://cn-legend.iteye.com/blog/1344682
sparkar-dateformat:修补程序脚本，用于Spark AR Studio的日期格式
05-08
sparkar-dateformat 修补程序脚本，用于Spark AR Studio的日期格式。 安装 下载zip文件，解压缩并导入dateformat.js作为Spark AR项目的资产。 用法 以下是您必须为脚本定义的补丁输入/输出。 从脚本 date 描述：您从脚本收到的格式化日期。 类型：文字 编写脚本 format 说明：设置将以哪种格式模式生成日期文本。 类型：文字 可选： true 默认值： 'YYYY-MM-DD HH:mm:ss' 模式 输入 例子 描述 YYYY 2021 4位数字的年份。 YY 21 2位数的年份。 MM 02 从01到12的月份号（前导零）。 M 2 月数从1到12。 DD 09 每月的一天，从01到31（前导零）。 D 9 每月的1到31。 HH 06 小时（24小时制）从00到23（前导零）
Java DateFormat并发实现
08-07
NULL 博文链接：https://bert82503.iteye.com/blog/2106022
DateFormat多线程问题
03-29
NULL 博文链接：https://zhaoshunxin.iteye.com/blog/1291905
DateFormat类
sinat_41233888的博客
01-29 8207
一、DateFormat子类： DateFormat是日期/时间格式化子类的抽象类，它以与语言无关的方式格式化和分析日期或时间。DateFormat类中最重要的两个方法是format和parse，简单来说format（是将日期Date类的对象转化为用户所能看懂的字符串形式如2019年1月28日 ）parse（是将用户所能看懂的字符串形式的日期转化为日期Date类） format(Object...
java dateformat_java-DateFormat
weixin_39928940的博客
02-20 2939
1、DateFormat类概述DateFormat 是日期/时间格式化子类的抽象类，它以与语言无关的方式格式化并解析日期或时间。是抽象类，所以使用其子类SimpleDateFormat。2、SimpleDateFormat构造方法public SimpleDateFormat()：将一个 Date 格式化为日期/时间字符串。(默认模式)public SimpleDateFormat(String ...
DateFormat 的总结
天大会下雨的博客
09-07 2479
参考文章：https://www.cnblogs.com/skywang12345/p/3330654.html DateFormat 是一个抽象类，也是SimpleDateFormat的父类 此类是一个日期的格式化类，用来格式化日期。具体日期可以通过java.util.Date类来获取。 DateFormat类的定义：此类是定义在java.test包中的。 public abstrac...
spark 日期参数传递
MusicDancing的博客
04-27 1604
11 package com.zz.spark.dm.tag import org.apache.spark.sql.{DataFrame, SparkSession} import java.text.SimpleDateFormat import java.util.{Calendar, Date} object Demo1 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder
Spark java.io.NotSerializableException
Aidon博客
04-24 458
Spark core将数据写入MySQL，出现Caused by: java.io.NotSerializableException: com.mysql.cj.jdbc.DatabaseMetaData异常，解决数据反序列化问题，本文将使用两种方案解决其具体问题。
spark实验求TOP值
最新发布
m0_64825044的博客
04-24 825
已知存在两个文本文件，file1.txt和file2.txt，内容分别如下：file1.txtfile2.txt以上两个文件所存储的数据字段的意义为：orderid, userid, payment, productid。
Spark-机器学习（3）回归学习之线性回归
qq_49513817的博客
04-20 3084
今天的文章，我们来学习我们回归中的线性回归，希望大家能有所收获。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。
Spark面试整理-Spark集成HBase
不务正业的猿
04-17 506
Apache Spark与Apache HBase的集成允许Spark直接从HBase读取和写入数据，利用Spark的强大计算能力处理存储在HBase中的大规模数据。要在Spark项目中使用HBase，需要在项目的构建文件中添加HBase客户端的依赖。确保HBase的配置文件（如hbase-site.xml）可用于Spark应用，这样Spark就能够知道如何连接到HBase集群。通过将Spark与HBase集成，可以有效地在Spark中进行复杂的数据处理和分析，同时利用HBase的高效存储和快速读写能力。
ELK日志系统的搭建
adminstate的博客
04-23 1042
ELK日志系统搭建
【Hadoop】-HDFS的存储原理[4]
weixin_63106307的博客
04-20 1449
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
ElasticSearch 入门学习
灰熊
04-23 766
ElasticsSearch 是一个分布式的实时文档存储，每个字段可以被索引与搜索也是一个分布式实时分析搜索引擎也是一个能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。
深入理解Java消息中间件-RabbitMQ
u011532237的博客
04-21 828
RabbitMQ是基于高级消息队列协议（AMQP）实现的一款开源消息代理软件，旨在提供高可用性、安全、互操作性强的企业消息系统。它由Erlang编写，因而继承了Erlang语言高并发、高可靠性的特点。
大数据——Zookeeper ZBA协议（四）
大数据爱好者的博客
04-20 906
对于分布式框架而言，基本上都会遵循CAP三大理论CAP(CAP理论是从客户端角度出发的！！！C(Consistency)：一致性。在一段时间内，访问这个集群获取到的数据是相同的。注意，此时，在一个时间段内，不要求每一台服务器的数据都一样，只要保证客户端获取到的数据一样就行A(Availability)：可用性。当客户端对集群中的节点发起请求的时候，节点能够在合理的时间内(一般理解为立刻)进行响应 - 时效性。注意，此处的可用性和服务器的高可用不是一回事儿！！！
DateFormat
07-27
DateFormat 是一个Java类，用于格式化日期和时间的表示。它可以帮助我们将日期和时间对象转换为特定格式的字符串，或者将字符串解析为日期和时间对象。 例如，我们可以使用 DateFormat 将日期对象格式化为 "yyyy-MM...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

orange大数据技术探索者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值