spark3 sql spark sql 字符串转日期 失败 结果为空

最新推荐文章于 2024-06-02 14:10:43 发布
最新推荐文章于 2024-06-02 14:10:43 发布
阅读量175 收藏
点赞数 3
文章标签： sql spark 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinyonde/article/details/139011342
版权

踩坑记录

上传一段数据做成临时表，其中有个字段是日期，我上传的格式为yyyy/MM/dd

如果上传成date类型，字段里的数据将全部变为空；

如果上传成string类型，后续查询时对日期做的转换结果全为空（比如我的需求里是需要再提取月份）

原因chatgpt告诉我了：

Spark 3引擎支持的日期格式通常是ISO 8601格式，例如 `'yyyy-MM-dd'`。如果格式不正确，转换将失败并返回空值。

所以最后重新上传一次格式为yyyy-MM-dd到临时表，查询就正常了。。

这坑爹的日常

sinyonde
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL操作JSON字段的小技巧
09-09
主要给大家介绍了关于Spark SQL操作JSON字段的小技巧，文中通过示例代码介绍的非常详细，对大家学习或者使用spark sql具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
Spark Sql读取字符串json数组
善皮之的博客
10-27 8496
Spark Sql读取字符串数组 开门见山 样例数据： 造数sql: df: SELECT "[{'id':1,'name':'abc'},{'id':1,'name':'abc'}]" AS js +---------------------------------------------+ |js | +---------------------------------------------+ |[{'id':1,'
spark sql 数据类型转换_Spark将列转换为存储在字符串中的sql类型
weixin_39986171的博客
12-18 1352
简单的请求是我需要帮助将列添加到数据框，但是列必须是空的，其类型来自... spark.sql.types并且类型有从字符串中定义。Spark将列转换为存储在字符串中的sql类型我可以用ifs或case来做这件事，但我正在寻找更优雅的东西。东西并不需要在org.apache.spark.sql.types每一种类型写的情况下，如果我这样做，例如：df = df.withColumn("col_na...
spark sql 字符串转时间戳
m0_65850671的博客
02-15 3322
spark sql 字符串转时间戳to_unix_timestamp
大数据技术之Spark SQL——解析JSON字符串
five小点心的博客
04-11 1516
sc.textFile读取数据源，并对结构化数据进行拆分。
spark sql 转换字符串数组成多列结构
lixia0417mul2的博客
03-01 578
spark sql 转换字符串数组成多列结构
spark-sql-magic:IPython使用Spark-SQL的魔力
05-21
spark-sql-magic 使用提供SQLContext通过Spark运行SQL语句。 这种魔术将使用通过-s参数指定SQLContext。 如果没有提供，魔术将通过SQLContext搜索用户名称空间。 如果魔术找到了一个正确SQLContext，则将使用它。 ...
java8集合源码分析-spark-sql:spark学习
06-04
SQL相关官方文档笔记,见SparkSQLDoc.md Spark Streaming 相关， 见SparkStreaming.md 奇淫巧技 IDEA，按住ALT，并按住左键进行框选也能实现多行编辑 Linux的vi编辑。 使用A进入输入模式，再进行复制。如果使用a进入...
spark-redis：Spark的连接器，允许从Redis集群读写
02-03
Spark-Redis可从Spark作为RDD访问Redis的所有数据结构-字符串，哈希，列表，集合和排序集合。 它还支持使用DataFrames和Spark SQL语法进行读写。 该库可以与Redis独立数据库以及集群数据库一起使用。 与Redis群集...
sql-formatter：用于不同查询语言的空格格式化程序
01-30
SQL格式化程序 SQL Formatter是一个JavaScript库，用于漂亮地打印SQL查询。 它起初是的端口，但此后却大相径庭。 SQL格式化程序支持以下方言： sql- mariadb - mysql - PostgreSQL - db2 - plsql - n1ql - redshift-...
spark sql 类型转换array_arrays – 从Spark Sql中的字符串列表创建文字和列的数组
weixin_39882394的博客
12-21 1128
Spark 2.2：在SPARK-19254中添加了对Seq,Map和Tuple(struct)文字的支持.根据to tests：import org.apache.spark.sql.functions.typedLittypedLit(Seq("foo", "bar"))火花< 2.2 只需使用lit映射并使用数组包装：def asLitArray[T](xs: Seq[T]) = ar...
spark sql 数据类型转换_spark sql时间类型转换以及其他
weixin_39535527的博客
12-18 1854
1.spark sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-dd HH24:mi:ss") //它将字符串时间转换为日期类型 例如2018-10-10 12:34:43第二种使用时间戳的形式to_timestamp(a.REACHTIME,"yyyy-MM-dd HH24:mi:ss") //转后是1970年至今的时间戳一大长串数据2...
spark-sql处理json字符串的常用函数
Du939的博客
11-01 5506
spark-sql处理json字符串的几个常用函数
基础—SQL—DQL（数据查询语言）聚合函数
m0_74363339的博客
05-30 478
这篇博客主要讲到了SQL分类中的DQL（数据查询语言）—聚合函数的讲解，聚合函数比较简单，但它主要配合着分组查询进行数据查询的操作，注意NULL的字段值不参与聚合函数的运算......
SQL Server定期收缩日志文件详细步骤——基于SQL Server 2012
lxcw_sir的博客
05-29 399
SQL Server定期收缩日志文件详细步骤——基于SQL Server 2012
PostgreSQL的锁介绍
最新发布
lee_vincent1的博客
06-02 359
PostgreSQL 中的锁机制是一种用于控制数据并发访问的手段，确保数据库的完整性和一致性。在实际应用中，合理使用锁可以避免数据不一致和减少死锁的发生。
postgressql——Tuple学习（2）
Re_view的博客
05-27 351
postgressql——Tuple学习（2）
PostgreSQL启动报错“could not map anonymous shared memory: Cannot allocate memory”
lee_vincent1的博客
06-02 319
PostgreSQL 请求的共享内存段超出了当前可用的内存、交换空间或大页内存 (huge pages)。当前请求的内存大小为 295,698,432 字节（约 282 MB）。
PostgreSQL发展史
PGCCC的博客
05-28 1025
PostgreSQL 的发展史反映了其从学术研究项目到全球领先的开源数据库系统的演变过程。通过不断的创新和社区支持，PostgreSQL 已经成为一个功能强大、性能优越的数据库管理系统，广泛应用于各个行业的关键业务场景中。#postgresql培训。
spark sql字符串转数字
08-28
你可以使用Spark SQL的内置函数`cast()`来将字符串转换为数字。 下面是一个示例代码，将字符串列`num_str`转换为整数列`num`： ```scala import org.apache.spark.sql.functions._ // 创建示例数据集 val data = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值