金仓数据库并行查询

KingbaseES 的并行化包含三个重要组件：进程本身(leader进程)、gather、workers。查询执行是从leader进程开始。一旦开启了并行，就会分配一个gather节点和多个worker线程。relation blocks在各个workers线程之间划分。workers的数量受KingbaseES 的配置参数或对象参数控制。每个进程在内部称之为1个worker，这些worker可以动态地创建、销毁。

当用户输入一个查询语句时，查询分析、查询重写以及查询规划都和原来一样，只有到执行时，才开始真正进入并行查询环节。Gather 节点只是执行计划的一个子节点，属于执行计划的一部分，当查询执行走到Gather 节点时，会话进程会申请一定数量的worker 进程（根据配置参数，以及成本确定）来进行并行查询过程。Gather 进程充当leader worker 的角色，负责收集汇总各个worker 进程查询的结果。该leader worker 进程也会根据查询的数据量大小承担部分的并行查询部分。

Leader worker 进程和其他worker 进程通过动态共享内存进行通信，在每个worker初始化时就为每个worker分配共享内存，用于worker各自获取计划数据和缓存中间结果。其他worker 进程（包括leader worker 进程）把分担查询的结果存储到共享内存中，然后由leader worker 进程进行汇总整个查询的结果。所以需要注意的是，由于并行查询需要使用了动态共享内存，所以dynamic_shared_memory_type 参数需要设置为none 以外的值。下图截取自网络：

二、优化器与并行

查询优化器会根据表或索引大小减少或增加工作线程的数量，min_parallel_table_scan_size 和 min_parallel_index_scan_size 控制此行为。每当表比 min_parallel_(index|table)_scan_size 大 3 倍时，KingbaseES就会添加一个工作线程。Worker的数量不是基于成本的，相反，优化器使用简单的规则，这些规则在生产中可以调整的，可以使用 ALTER TABLE ... SET (parallel_workers = N) 修改特定表的Worker数量。

与worker 数量基于简单规则不同，优化器会基于cost，确认是否使用并行：

• parallel_setup_cost 该参数可以避免并行执行短查询。它对内存设置、进程启动和初始通信所花费的时间进行建模。
• parallel_tuple_cost , leader 和 worker 之间的通信可能需要很长时间，时间与worker发送的元组数量成正比。该参数对通信成本进行建模。
   

三、并行相关参数

• max_parallel_workers_per_gather 定义了每个并发操作可以使用的 worker的最大数量。该参数为0表示不使用并行。
• max_parallel_workers 定义并行池中所有 worker的数量，也就是整个实例最大并行进程数量。不能大于参数 max_worker_processes 值。
• max_worker_processes 定义了后台worker进程的总数量。
• min_parallel_table_scan_size 表的存储空间至少大于等于该值，才有可能触发并行，默认值8MB。
• min_parallel_index_scan_size 索引存储空间至少大于等于该数值，才有可能触发并行。默认256 KB。
• force_parallel_mode：强制开启并行模式的开关
• dynamic_shared_memory_type 必须被设置为除none之外的值。并行查询要求动态共享内存以便在合作的进程之间传递数据。
• parallel_setup_cost ：以避免并行执行短查询。它对内存设置、进程启动和初始通信所花费的时间进行建模
• parallel_tuple_cost ：leader 和 worker 之间的通信可能需要很长时间。时间与工作人员发送的元组数量成正比。该参数对通信成本进行建模。