拓宽管理“瓶颈”—— CirroData系统表的优化

本文探讨了CirroData分布式数据库系统表存在的问题,包括IO性能、串行化计算和冗余计算等,并详细介绍了通过采用分布式Key-value存储、流水线计算、优化存储与计算层接口以及分离数据读取与业务功能等方式进行的优化,旨在提高系统管理效率和开发维护性。
摘要由CSDN通过智能技术生成

数据库的系统表用来存放结构元数据,通过对元数据实现“增、删、改、查”等操作实现对数据库管理系统的控制。可以说系统表就是数据库的“总目录”,如果对系统表的操作和维护效率低下,则会成为整个数据库管理系统的性能“瓶颈”。

本篇介绍了传统系统表设计存在的问题,并详述了CirroData分布式数据库在系统表设计上所做的优化改进,从而大大提高了整个系统的管理效率。


01 背景介绍

数据库的系统表用来存放结构元数据,有两方面的功能:

  • 数据库元数据的存储管理;
  • 通过结构化的组织方式为数据库用户、管理员等提供数据库元数据的可视化视图,方便管理数据库。

CirroData借鉴Unix系统中一切皆文件的设计思想,将各种元数据当作普通的数据库表来进行设计与实现。目前实现了database,table, schema, index,cluster等几十张系统表。

本篇中CirroData的优化涉及系统表查询计划的执行,包括系统表数据的存储和扫描。


02 CirroData系统表数据扫描模块架构

在这里插入图片描述

如上图所示,CirroData系统表数据扫描分三个模块,数据扫描层、计算层和存储层。

  • 数据扫描层负责下发数据扫描指令给计算层并将计算层读取的数据返回给数据扫描层的调用者执行器。
  • 计算层负责对从存储层读取的数据进行格式转换,过滤。
  • 存储层负责存储系统表的数据,并对外提供Read/Write/Delete功能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值