海山数据库(He3DB)源码解读：海山PG LWLock实现

最新推荐文章于 2024-11-04 10:13:26 发布
最新推荐文章于 2024-11-04 10:13:26 发布
阅读量322 收藏 3
点赞数 4
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51457815/article/details/140715364
版权

文章目录

背景

He3DB for PostgreSQL是受Aurora论文启发，基于开源数据库PostgreSQL 改造的数据库产品。架构上实现计算存储分离，并进一步支持数据的冷热分层，大幅提升产品的性价比。
He3DB for PostgreSQL中存在多个会话试图同时访问同一数据的情况，并发控制的目标就是保证所有会话高效地访问，同时维护数据完整性，并发访问控制的常用方式为两种：锁机制和多版本并发控制（MVCC）。因为 MVCC 并不能解决所有的并发控制情况，所以还需要使用传统的锁机制来保证那些通常不需要完整事务隔离并且想要显式管理特定冲突点的应用。

整体概述

按照功能划分，锁管理分为锁功能模块，锁级别管理模块，死锁处理模块。
锁功能模块：针对三种类型的锁功能，自旋锁，轻量级锁，事务锁。
锁级别管理模块：针对四种不同级别的锁管理器，表级别、页级别、元组级别、事务级别。
死锁处理模块：包括死锁检测功能和死锁处理功能。

在这里插入图片描述

图1 锁管理模块介绍

数据结构

LWLock(轻量级锁)主要提供对共享的数据结构的互斥访问。LWLock有两种锁模式，一种为排他模式，另一种为共享模式。
轻量级锁的特点是：LWLock的特点是:有等待队列、无死锁检测、能自动释放锁。
核心数据结构如下：

  • LWLockMode 锁模式
 typedef enum LWLockMode
{
	LW_EXCLUSIVE,
	LW_SHARED,
	LW_WAIT_UNTIL_FREE			/* A special mode used in PGPROC->lwWaitMode,
								 * when waiting for lock to become free. Not
								 * to be used as LWLockAcquire argument */
} LWLockMode;
  • LWLock 轻量锁定义
typedef struct LWLock
{
	uint16		tranche;		/* tranche ID */
	pg_atomic_uint32 state;		/* state of exclusive/nonexclusive lockers */
	proclist_head waiters;		/* list of waiting PGPROCs */
#ifdef LOCK_DEBUG
	pg_atomic_uint32 nwaiters;	/* number of waiters */
	struct PGPROC *owner;		/* last exclusive owner of the lock */
#endif
} LWLock;
  • lwlock_stats 用来记录lwlock的状态结构体，使用一个hash_table来记录所有的
typedef struct lwlock_stats
{
	lwlock_stats_key key;
	int			sh_acquire_count;
	int			ex_acquire_count;
	int			block_count;
	int			dequeue_self_count;
	int			spin_delay_count;
}lwlock_stats;
  • LWLockHandle 定义了LWLockHandle held_lwlocks[MAX_SIMUL_LWLOCKS]，用来保存全局的申请成功的LWLock
typedef struct LWLockHandle
{
	LWLock	   *lock;
	LWLockMode	mode;
} LWLockHandle;
  • LWLockWaitState 进程process的state of the wait process
typedef enum LWLockWaitState
{
	LW_WS_NOT_WAITING, /* not currently waiting / woken up */
	LW_WS_WAITING, /* currently waiting */
	LW_WS_PENDING_WAKEUP /* removed from waitlist, but not yet signalled */
} LWLockWaitState;

系统使用一个全局的数组MainLWLockArray来管理所有的LWLock，这些LWLock定义lwlocknames.txt中，当前定义了47种LWLock来实现分段锁表，从而实现用户自定义的锁类型。

ShmemIndexLock						1
OidGenLock							2
XidGenLock							3
ProcArrayLock						4
SInvalReadLock						5
SInvalWriteLock						6
WALBufMappingLock					7
WALWriteLock						8
ControlFileLock						9
# 10 was CheckpointLock
XactSLRULock						11
SubtransSLRULock					12
MultiXactGenLock					13
MultiXactOffsetSLRULock				14
MultiXactMemberSLRULock				15
RelCacheInitLock					16
CheckpointerCommLock				17
TwoPhaseStateLock					18
TablespaceCreateLock				19
BtreeVacuumLock						20
AddinShmemInitLock					21
AutovacuumLock						22
AutovacuumScheduleLock				23
SyncScanLock						24
RelationMappingLock					25
NotifySLRULock						26
NotifyQueueLock						27
SerializableXactHashLock			28
SerializableFinishedListLock		29
SerializablePredicateListLock		30
SerialSLRULock						31
SyncRepLock							32
BackgroundWorkerLock				33
DynamicSharedMemoryControlLock		34
AutoFileLock						35
ReplicationSlotAllocationLock		36
ReplicationSlotControlLock			37
CommitTsSLRULock					38
CommitTsLock						39
ReplicationOriginLock				40
MultiXactTruncationLock				41
OldSnapshotTimeMapLock				42
LogicalRepWorkerLock				43
XactTruncationLock					44
# 45 was XactTruncationLock until removal of BackendRandomLock
WrapLimitsVacuumLock				46
NotifyQueueTailLock					47

LWLock设计

设计原理

LWLock(轻量级锁)主要提供对共享的数据结构的互斥访问。LWLock有两种锁模式，一种为排他模式，另一种为共享模式。轻量级锁不提供死锁检测，但轻量级锁管理器在恢复期间被自动释放，所以持有轻量级锁的期间调用恢复功能发生错误，不会出现轻量级锁未释放的问题。LWLock利用SpinLock实现，当没有锁的竞争时可以很快获得或释放LWLock。当一个进程阻塞在一个轻量级锁上时，相当于它阻塞在一个信号量上，所以不会消耗CPU时间，等待的进程将会以先来后到的顺序被授予锁。

主要流程

LWlock的主要操作流程是：

1.LWLock的空间分配： Postmaster启动后需要在共享内存空间中为LWLock分配空间，分配空间时，需要计算出将要分配的LWLock的个数。

2.LWlock的创建 ：LWLock的创建过程包括分配空间和初始化两个过程。其中分配空间的过程在LWLockShmemSize函数中给出，初始化即对LWLock数据库结构的初始化，使它们处于“未上锁”的状态，并在LWLockArray队列的末尾初始化动态分配计数器。

3.LWLock的分配：LWLock 分配操作是从共享内存中预定义的闲置LWLock Aray中得到一个LWLock，同时LWlockAmay前面的计数器会累加。基本过程是申请锁，使用计数器得到闲置的LWLock 数目，若没有闲置的LWlock，输出错误;否则，修改计数器，释放锁，返回指向闲置LWLock 的一个指针。

4.LWLock锁的获取：LWLock的获取由函数LWLockAcquire定义，该函数试图以给定的轻量级锁ID(LWLock ID)和锁模式(SHARE/EXCLUSIVE)获得对应的轻量级锁。如果暂时不能获得，就进入睡眠状态直至该锁空闲。该函数执行流程如下:

  • 开中断，获取锁。
  • 检查锁的当前情况，如果空闲则获得锁，然后退出:
  • 否则把自己加入等待队列中，并一直等到被唤醒。
  • 重复上述步骤。
    LWLock还提供了另外一种获取LWLock的方式—使用LWLockConditionalAcquire 函数，它与上述函数的区别是若能获得此锁，则返回TRUE，否者返回FALSE。

5.LWLock锁的释放：LWIock的释放由函数LWLockRelease完成，主要功能是释放指定LockID的锁。该函数的执行流程如下:

  • 获得该锁。
  • 检查此次解锁是否唤醒其他等待进程。
  • 如果需要唤醒进程，遍历等待队列;如果遇到要求读锁的进程，从队列中删除，但保留一个指向它的指针。重复操作直到遇到要求写锁的进程。
  • 释放该LWLock，把从队列中删除的进程唤醒。
    另外提供能释放当前后端持有的所有LWLock锁的功能，该功能在函数LWLockReleaseAll中定义，主要在系统出现错误之后使用。
    在这里插入图片描述
图2 LWLock模块使用流程

主要接口

对外接口函数接口说明
void CreateLWLocks(void)创建LWLock
Size LWLockShmemSize(void)LWLock空间分配
bool LWLockAcquire(LWLock *lock, LWLockMode mode)申请LWLock
bool LWLockConditionalAcquire(LWLock *lock, LWLockMode mode)有条件申请LWLock
void LWLockRelease(LWLock *lock)释放LWLock
void LWLockReleaseAll(void)释放全部锁

源码流程图

在这里插入图片描述

作者介绍

徐元慧，移动云数据库高级系统架构师，负责云原生数据库He3DB的架构设计与研发。

weixin_51457815
关注
基于Go语言与Shell脚本融合的He3DB高性能数据库代理设计源码
09-29
该项目是中移（苏州）软件技术有限公司研发的He3DB高性能数据库代理项目——He3Proxy，源码以Go语言为主，融合Shell脚本，共计111个文件，其中包含77个Go源文件、9个Markdown文档、4个YAML配置文件、4个PNG图像文件...
He3Proxy是中移（苏州）软件技术有限公司基于PG协议专为He3DB打造的高性能数据库代理项目
12-16
He3Proxy是中移（苏州）软件技术有限公司基于PG协议 专为He3DB 打造的高性能数据库代理项目，采用Go语言开发， He3Proxy为He3DB 提供读写分离、负载均衡、连接池管理、 读一致性等基础能力，让用户像使用单机一样...
海山数据库(He3DB)源码解读：海山PG 词法、语法分析
He3DB_ht的博客
08-22 599
He3DB for PostgreSQL是受Aurora论文启发，基于开源数据库PostgreSQL 改造的数据库产品。架构上实现计算存储分离，并进一步支持数据的冷热分层，大幅提升产品的性价比。    He3DB for PostgreSQL中查询编译的主要任务是根据用户的查询语句生成数据库中最优执行计划，在此过程中要考虑视图、规则以及表的连接路径等问题。
海山数据库(He3DB)源码解读：海山PG SpinLock实现
于巍，花名漠雪，移动云数据库技术委员会主任，海山数据库研发负责人，PG中文社区常委，PG中文社区海外联络人。15年数据库内核研发经验，4年美国、以色列等海外研发经历，华为GaussDB、阿里云PolarDB、移动云He3DB等核心架构
07-26 846
按照功能划分，锁管理分为锁功能模块，锁级别管理模块，死锁处理模块。锁功能模块：针对三种类型的锁功能，自旋锁，轻量级锁，事务锁。锁级别管理模块：针对四种不同级别的锁管理器，表级别、页级别、元组级别、事务级别。死锁处理模块：包括死锁检测功能和死锁处理功能。图1 锁管理模块介绍徐元慧，移动云数据库高级系统架构师，负责云原生数据库He3DB的架构设计与研发。
海山数据库(He3DB)源码解读：海山PG 死锁处理实现
He3DB_ht的博客
07-24 1007
按照功能划分，锁管理分为锁功能模块，锁级别管理模块，死锁处理模块。锁功能模块：针对三种类型的锁功能，自旋锁，轻量级锁，事务锁。锁级别管理模块：针对四种不同级别的锁管理器，表级别、页级别、元组级别、事务级别。死锁处理模块：包括死锁检测功能和死锁处理功能。图1 锁管理模块徐元慧，移动云数据库高级系统架构师，负责云原生数据库He3DB的架构设计与研发。
基于JuiceFS的He3FS：为He3DB量身定制的共享存储服务源码
09-26
He3FS是一个由中移（苏州）软件技术有限公司开发的共享存储服务，基于JuiceFS平台针对He3DB进行定制。该项目源码主要采用Go语言编写，辅以C、Shell等多种语言，包含224个Go源文件、175个PNG图像文件、166个Markdown...
He3Proxy是中移（苏州）软件技术有限公司基于PG协议 专为He3DB 打造的高性能数据库代理项目
05-07
He3Proxy是中移（苏州）软件技术有限公司基于PG协议 专为He3DB 打造的高性能数据库代理项目，采用Go语言开发， He3Proxy为He3DB 提供读写分离、负载均衡、连接池管理、 读一致性等基础能力，让用户像使用单机一样...
He3PG是中移（苏州）软件技术有限公司基于PG专为He3DB打造的高性能数据库计擎 是移动云开源的云原生数据库产品
05-26
He3DB受Aurora论文启发，基于开源数据库PostgreSQL 改造的云原生数据库产品。架构上实现计算存储分离，主备节点共享一份数据（容量上限100T ），支持一主15备，RTO 绝对时间秒,我们打造的核心理念：高性能，低成本。
oceanbase V4.2.2社区版集群离线部署
king_harry的专栏
11-01 760
版本，选择是上传文件，包含oceanbase-ce、oceanbase-ce-libs、oceanbase-ce-utils。关闭时展示，为 OBProxy 集群的访问地址，仅用于生成租户的连接串，不影响实际使用，需要自主配置负载均衡，如果是 VIP 地址，还需要您自主申请并绑定到 OBProxy Server。集群配置选项卡—更多配置—更改系统内存保留选项，默认是30G，如果测试机内存只有16G，则需要调小，本测试调整为2G，这样ocp-server安装不会失败。自定义待管理的集群的名称。
Redis实战-利用Lua解决批量插入防重方案
葵续浅笑的博客
11-01 1088
本文介绍了以Lua脚本为基础设计的防重和幂等方案。
JAVA 插入 JSON 对象到 PostgreSQL
qq_52143611的博客
10-30 981
在现代软件开发中，由于 JSON 数据的轻量和通用性，处理 JSON 数据已经变得无处不在。PostgreSQL凭借其对 JSON 的强大支持，为存储和查询 JSON 数据提供了出色的平台。为了将JSON数据保存到PostgreSQL数据库中，我们可以将JSON数据转换为PostgreSQL的JSONB类型数据，然后将其存储在数据库中。在Java中，我们可以使用JDBC或者基于ORM框架的方式来实现这一功能。
安利一款开源企业级的报表系统SpringReport
最新发布
luck332的专栏
11-04 511
SpringReport是一款企业级的报表系统，支持在线设计报表，并绑定动态数据源，无需写代码即可快速生成想要的报表，可以支持excel报表和word报表两种格式，同时还可以支持excel多人协同编辑，后续考虑实现大屏设计器功能，通过简单的设计器可以生成炫酷的大屏效果。
【重学 MySQL】七十九、深入探索用户变量
CSDN全栈领域优秀博主，阿里云博客专家，工信部权威认证物联网技术开发工程师，曾30分钟高分通过C语言二级，两天手撸代码完成EasyX飞机大战，靠接软件私活一个月换苹果电脑
10-30 925
定义：用户变量以“@”符号开头，后面跟着变量名。变量名可以是任何随机的、复合的标量表达式，只要其中没有列指定。赋值可以使用SET语句来定义和赋值用户变量，如。也可以使用SELECT语句来为用户变量赋值，但必须使用“:=”赋值运算符，因为在SELECT语句中，MySQL将“=”运算符视为等于运算符。例如，。作用域：会话用户变量的作用域是当前会话，而局部变量的作用域是其定义的BEGIN/END语句块。命名：会话用户变量以“@”符号开头，而局部变量不需要。使用场景。
真·香！深度体验 zCloud 数据库云管平台 -- DBA日常管理篇
weixin_54551388的博客
11-01 739
点击蓝字 关注我们zCloud 作为一款业界领先的数据库云管平台，通过云化自治的部署能力、智能巡检和诊断能力、知识即代码的沉淀能力，为DBA的日常管理工作带来了革新式的简化与优化。经过一周的深度体验，今天笔者与您深入探讨 zCloud 在数据库用户、参数以及日志管理方面的具体应用，看它如何为DBA的日常管理工作带来价值。数据库用户管理“常在河边走哪有不湿鞋”，作为DBA或多或少都曾遇到过因权限配置...
数据库 二
wjj20040809的博客
11-02 684
表与表的关系：核心表mysql/oracle、SQLServer(微软)SQL。
SpringSession源码分析
lkr_lkr的博客
11-01 332
默认对常规Session的理解和使用，如何使用Set-Cookie。
MySQL查询语句简介
licy__的博客
10-30 358
MySQL是一种广泛使用的开源关系数据库管理系统（RDBMS），它使用SQL（Structured Query Language）作为其数据库语言。SQL是用于管理和操作关系数据库的标准语言。通过SQL，用户可以创建、更新、删除以及查询数据库中的数据。
SpringBoot starter机制
路漫漫其修远兮，吾将上下而求索
10-30 290
在spring boot之前，想要在spring中集成redis，需要做的事情包括：（1）引入jar包：包括redis的jar包，redis依赖的jar包，相应的版本，与spring版本是否兼容等（2）在配置文件中配置连接地址、端口号等（3）以Jedis为例，增加增加JedisConnectionFactory、RedisTemplate 的bean初始化代码（4）使用RedisTemplate可以看到，集成过程比较复杂，而这些过程跟业务开发没有任何关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值