SQL与spark.sql时间处理格式不一致的问题

起因

这应该是一个非常常见的bug,事情起因如下:
我们在sql中需要让某个日期往前推三天,所以在sql中我使用了如下语句

select date_sub(tdbank_imp_date, 7) as tdbank_imp_date
from table

该语句在sql中运行正常,也得到了预期的结果
之后我们把代码贴到saprk.sql中运行
在这里插入图片描述
发现变为了空值

原因

其原是日期格式的问题,YYYYMMDD这种格式对于supersql和spark.sql来说都是不规范的,但是在sql中这种不规范被漫长的版本迭代中给容错掉了,因此出现这种情况
注:我用的平台使用的是supersql,不确定sql中是不是也是一样
而对于pyspark中,遇到关于日期的函数,会在内部逻辑执行

date_sub(CAST(tdbank_imp_date AS date), 1)

使用cast将输入强制转化为日期格式
而对于cast(string as date):如果string是YYYY-MM-DD格式的,则相应的年/月/日的date类型的数据将会返回;但如果string不是YYYY-MM-DD格式的,结果则会返回NULL。因此,造成了最终返回null值的情况

解决方案

将YYYYMMDD格式的日期转化为YYYY-MM-DD再输入到date_sub中,会得到YYYY-MM-DD格式的输出,再将其转化为YYYYMMDD来与其他表进行join
也就是对应了如下代码

from_unixtime(unix_timestamp(date_sub(from_unixtime(unix_timestamp(tdbank_imp_date,'yyyymmdd'),'yyyy-mm-dd'), 1),'yyyy-mm-dd'),'yyyymmdd') 

最后补一个mysql对于日期的各种处理,转换的操作:官网链接

实际上sql中将YYYYMMDD转化为YYYY-MM-DD还有一些方法,但是我这里这么处理会报错

CONVERT(data_type,expression[,style]) 
convert(varchar(10),字段名,转换格式)

此样式一般在时间类型(datetime,smalldatetime)与字符串类型(nchar,nvarchar,char,varchar)
相互转换的时候才用到.
比如:

SELECT CONVERT(varchar(100), GETDATE(), 5) 15-07-09

贴个教程链接

### 关于 `ignoreMissingFiles` 参数的作用及用法 在 Spark SQL 的配置中,`ignoreMissingFiles` 是一个重要的参数,用于控制文件读取过程中如何处理缺失的文件。如果启用了该选项,则当某些分区中的文件丢失时,Spark 会抛出异常而是忽略这些文件并继续执行操作[^3]。 此行为对于数据湖场景特别有用,在这种情况下,可能会因为外部原因导致部分文件暂时可用或被删除。通过启用 `ignoreMissingFiles`,可以减少因个别文件问题而导致整个作业失败的风险。 默认情况下,`ignoreMissingFiles` 设置为 **false**,这意味着一旦检测到任何文件丢失,Spark 将终止运行并报告错误。要更改这一设置,可以通过以下方式调整: #### 配置方法 1. 使用 `spark.conf.set()` 方法动态修改配置: ```scala spark.conf.set("spark.sql.files.ignoreMissingFiles", "true") ``` 2. 或者在启动 Spark 应用程序时通过命令行传递参数: ```bash --conf spark.sql.files.ignoreMissingFiles=true ``` 需要注意的是,虽然启用 `ignoreMissingFiles` 可以提高容错能力,但也可能导致最终结果完整,因此应谨慎使用,并确保业务逻辑能够容忍这种情况下的潜在数据损失。 此外,`ignoreMissingFiles` 仅适用于基于文件的数据源(如 Parquet、JSON ORC),而影响其他类型的数据源(例如 Kafka 或 JDBC 连接器)。这另一个类似的配置项 `spark.sql.files.ignoreCorruptFiles` 存在区别,后者专注于跳过损坏而非缺失的文件[^4]。 ```python # Python 示例:动态设置 ignoreMissingFiles 并加载数据 spark.conf.set("spark.sql.files.ignoreMissingFiles", "true") df = spark.read.format("parquet").load("/path/to/possibly/incomplete/files/") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值