StarRocks Pipeline 执行框架

最新推荐文章于 2024-05-07 10:54:21 发布

feidodo小程序

最新推荐文章于 2024-05-07 10:54:21 发布

阅读量165

点赞数

文章标签： java 算法前端

本文链接：https://blog.csdn.net/feidodoxcx/article/details/127649514

版权

1、BE 初始化 Pipeline 执行引擎

BE 初始化全局对象的方法主要有两种：

将全局对象定义在 ExecEnv 对象中，参考 be/src/runtime/exec_env.h，be/src/runtime/exec_env.cpp 文件。
定义全局性的单例 (Singleton) 对象，例如 be/src/exec/pipeline/query_context.cpp，如果对象本身可以独立完成初始化、不依赖参数设置、不依赖于其他对象的初始化顺序，则可以定义为单例。

Pipeline 执行引擎的全局性对象

PipelineDriver 执行器

定义为 ExecEnv::_driver_executor，类型为 pipeline::GlobalDriverExecutor，主要由执行线程池和轮询线程构成。其中执行线程的数量默认为机器的硬件核数，轮询线程数量为 1。

// 源码文件: be/src/runtime/exec_env.cpp
// 函数: Status ExecEnv::_init(const std::vector<StorePath>& store_paths) 

std::unique_ptr<ThreadPool> driver_executor_thread_pool;
auto max_thread_num = std::thread::hardware_concurrency();
if (config::pipeline_exec_thread_pool_thread_num > 0) {
    max_thread_num = config::pipeline_exec_thread_pool_thread_num;
}
LOG(INFO) << strings::Substitu