![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 86
Alan_HQ
枕上诗书闲处好,门前风景雨来佳。
展开
-
Spark中SimpleDateFormat的安全使用
日常开发中,我们经常使用 SimpleDateFormat 来对时间进行格式化/转换等操作。我们可以放心得使用在单线程环境中,但是需要时刻谨记 SimpleDateFormat 是非线程安全的,在 Spark 开发中同样需要注意。尤其碰到时间相关数据的处理时,不管是 UDF 还是 匿名函数 ,都需要谨慎使用非线程安全的 SimpleDateFormat 。 在这里和大家分享笔者如何在 Spar...原创 2019-07-15 11:27:29 · 1034 阅读 · 0 评论 -
DataFrame.filter(Column.notEqual("value"))会不会过滤NULL值
select * from table where column != "value"; 这样一句SQL妇孺皆知,而且在MySQL/Oracle中column为 null 的也会被过滤掉;那么在Spark中表现又会是怎样呢?(Spark SQL也在悄悄得往SQL的语法标准上靠) import org.apache.log4j.{Level, Logger} import org.apache...原创 2019-07-15 11:33:52 · 1458 阅读 · 0 评论