SQL与spark.sql时间处理格式不一致的问题

起因

这应该是一个非常常见的bug，事情起因如下：
我们在sql中需要让某个日期往前推三天，所以在sql中我使用了如下语句

select date_sub(tdbank_imp_date, 7) as tdbank_imp_date
from table

该语句在sql中运行正常，也得到了预期的结果
之后我们把代码贴到saprk.sql中运行

发现变为了空值

原因

其原是日期格式的问题，YYYYMMDD这种格式对于supersql和spark.sql来说都是不规范的，但是在sql中这种不规范被漫长的版本迭代中给容错掉了，因此出现这种情况
注：我用的平台使用的是supersql，不确定sql中是不是也是一样
而对于pyspark中，遇到关于日期的函数，会在内部逻辑执行

date_sub(CAST(tdbank_imp_date AS date), 1)

使用cast将输入强制转化为日期格式
而对于cast(string as date)：如果string是YYYY-MM-DD格式的，则相应的年/月/日的date类型的数据将会返回；但如果string不是YYYY-MM-DD格式的，结果则会返回NULL。因此，造成了最终返回null值的情况

解决方案

将YYYYMMDD格式的日期转化为YYYY-MM-DD再输入到date_sub中，会得到YYYY-MM-DD格式的输出，再将其转化为YYYYMMDD来与其他表进行join
也就是对应了如下代码

from_unixtime(unix_timestamp(date_sub(from_unixtime(unix_timestamp(tdbank_imp_date,'yyyymmdd'),'yyyy-mm-dd'), 1),'yyyy-mm-dd'),'yyyymmdd') 

最后补一个mysql对于日期的各种处理，转换的操作：官网链接

实际上sql中将YYYYMMDD转化为YYYY-MM-DD还有一些方法，但是我这里这么处理会报错

CONVERT(data_type,expression[,style]) 
convert(varchar(10),字段名,转换格式)

此样式一般在时间类型(datetime,smalldatetime)与字符串类型(nchar,nvarchar,char,varchar)
相互转换的时候才用到.
比如：

SELECT CONVERT(varchar(100), GETDATE(), 5) 15-07-09

贴个教程链接