![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
gyl2016
这个作者很懒,什么都没留下…
展开
-
spark中dropDuplicates和distinct的区别
spark中去重算子问题原创 2021-12-21 18:00:18 · 2218 阅读 · 0 评论 -
spark中两表字段顺序不一致合并时union和unionAll的问题
背景:最近在利用spark合并两个表的时候,当两个表的字段顺序不一致时,合并后的结果是错误的。举例:原创 2021-06-17 15:06:43 · 2598 阅读 · 1 评论 -
Error: invalid log directory /app/spark/...
问题背景:在以stanalone方式部署的spark环境中,以cluster方式提交application后,过了半天发现在web页面driver上stdout和stderr上的日志全部都没有了,stdout中显示error: invalid log director /app/spark/...问题原因:由于在spark-env.sh中配置了每个worker清理日志的时间,即SPARK_WORKER_OPTS='-Dspark.worker.cleanup.enabled=true -Dspark.原创 2021-06-15 16:56:52 · 552 阅读 · 0 评论