spark
文章平均质量分 87
齐木木9406
这个作者很懒,什么都没留下…
展开
-
【浅谈 Apache Doris FE 处理查询 SQL 源码解析】
在使用 Apache Doris 时,我们可以通过 Apache Doris FE Web 页面或者 Mysql 协议执行 SQL 语句,但是对于 Apache Doris 背后如何对 SQL 进行处理,我们无从所知。本文章内容主要讲解 Apache Doris 查询 SQL 在 FE 节点处理原理。Doris 查询语句和市面主流的数据库处理阶段都差不多,需要经过 Parse,Analyze,Optimize,Plan,Schedule,Execute 等阶段。 ...原创 2022-06-13 11:52:41 · 646 阅读 · 0 评论 -
面试题:Spark数据倾斜解决方案
在面试大数据开发岗位中,Spark是必须具备的技能之一。最近在复习Spark时,感觉spark发生数据倾斜场景有很多,但是在面试时,说太多了感觉太废话了。如何在面试中思维清晰的回答数据倾斜问题呢?下面是个人总结的观点,有问题麻烦各位技术大佬指导。数据倾斜原理:在进行shuffle的时候,必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理,比如按照key进行 聚合或join等操作。此时如果某个key对应的数据量特别大的话,就会发生数据倾斜。比如大部分key对应10条数据,但是个别ke原创 2021-10-29 10:18:52 · 853 阅读 · 1 评论