qq_42200605的博客

在使用 Apache Doris 时，我们可以通过 Apache Doris FE Web 页面或者 Mysql 协议执行 SQL 语句，但是对于 Apache Doris 背后如何对 SQL 进行处理，我们无从所知。本文章内容主要讲解 Apache Doris 查询 SQL 在 FE 节点处理原理。Doris 查询语句和市面主流的数据库处理阶段都差不多，需要经过 Parse,Analyze,Optimize,Plan,Schedule,Execute 等阶段。 ...

Doris FE源码解读系列之源码编译踩坑一、前言最近在学习Doris FE源码，按照Doris官网开发者手册下载源码时，出现了很多问题，比如Jar包无法加载、编译项目报错、Thrift 插件无法引用等等，导致卡壳时间太久，所以总结如下经验分享给大家，避免大家在同样问题花大量时间去解决。Apache Doris官方文档：https://doris.apache.org/zh-CN/developer-guide/fe-idea-dev.html#_4-%E8%AE%BE%E7%BD%AE%E7%8E

今天在编译Doris 源码的时候出现thrift did not exit cleanly. Review output for more information.报错，出现这个原因主要是thirdparty的加载路径是错误的。下面我拿fe-common 作为例子，看pom文件的这个路径上文件是否存在，这个路径必须和thirdparty的路径一直。提醒：DORIS_THIRDPARTY 需要在base_profile文件或者maven配置中写明，否则无法加载thrift...

Doris FE启动流程源码详细解析

Doris 快速上手（一）

在面试大数据开发岗位中，Spark是必须具备的技能之一。最近在复习Spark时，感觉spark发生数据倾斜场景有很多，但是在面试时，说太多了感觉太废话了。如何在面试中思维清晰的回答数据倾斜问题呢？下面是个人总结的观点，有问题麻烦各位技术大佬指导。数据倾斜原理：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行 聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。比如大部分key对应10条数据，但是个别ke

一、以贵州茅台为例，要获取最新行情，访问数据接口：http://qt.gtimg.cn/q=sh600519即返回数据：1v_sh600519="1~贵州茅台~600519~358.74~361.29~361.88~27705~12252~15453~358.75~8~358.74~4~358.72~7~358.71~6~358.70~5~358.77~3~358.78~2~358.79~16~3...