spark
gyl2016
这个作者很懒,什么都没留下…
展开
-
spark中dropDuplicates和distinct的区别
spark中去重算子问题原创 2021-12-21 18:00:18 · 2261 阅读 · 0 评论 -
spark中两表字段顺序不一致合并时union和unionAll的问题
背景:最近在利用spark合并两个表的时候,当两个表的字段顺序不一致时,合并后的结果是错误的。举例:原创 2021-06-17 15:06:43 · 2691 阅读 · 1 评论 -
Error: invalid log directory /app/spark/...
问题背景:在以stanalone方式部署的spark环境中,以cluster方式提交application后,过了半天发现在web页面driver上stdout和stderr上的日志全部都没有了,stdout中显示error: invalid log director /app/spark/...问题原因:由于在spark-env.sh中配置了每个worker清理日志的时间,即SPARK_WORKER_OPTS='-Dspark.worker.cleanup.enabled=true -Dspark.原创 2021-06-15 16:56:52 · 624 阅读 · 0 评论