PostgreSQL 会话级资源隔离探索

背景

如果一个数据库对外提供的服务,或者承载的业务很多时,你首先想到的肯定是拆分数据库。

但是,拆分毕竟是有成本的,而且有时并不是所有的场景都适合拆分来解决。

如果多个业务混合在一起使用一个数据库,就容易造成资源的争抢。

那么不拆分的情况下,控制每个业务或者每个会话的资源使用呢?

如何区分来源应用

要隔离应用使用数据库的资源,首先要区分应用。

通常如果一个数据库提供了多个业务服务时,会给每个业务创建不同的库或者分配不同的用户。
screenshot

当然,如果你用了同一个库,或者同一个数据库,就分不清业务了吗?
当然不是,你还可以从业务的来源IP区分。
screenshot

如果业务部署在同一个IP上,就没有办法区分业务了吧?
当然也不是,你还可以通过application_name来区分业务。
screenshot

用什么手段隔离资源

PostgreSQL 是进程模式的,如果结合cgroup,就可以做到会话级别的资源隔离。

客户端向postmaster发起连接请求,postmaster fork一个backend process处理该连接请求,以及将来改客户端的SQL请求。

根据前面区分来源应用的方法,找到对应的应用。(这个区分方法应该首先要存储在数据库的表中,或者使用函数的手段获得)

根据应用于cgroup的映射关系,找到对应的cgroup,然后将这个PID写入对应cgroup的tasks文件即可。
screenshot

screenshot

步骤

  • 创建cgroup,包括mem, net, cpu, iops
  • 在每个cgroup中为每个业务创建对应的subcgroup,并配置对应的资源限制。
    例如(内存,网络包转发限制,网络带宽限制,CPU时间片分配限制,块设备的读写IOPS和读写带宽限制)
  • 修改内核,在fork后,需要处理将pid写入cgroup的动作。
  • 创建对应的函数,将指定的PID放到指定的CGROUP中。

小结

  • PostgreSQL的进程模式,为会话级资源隔离提供了便利。
  • 即使不改内核,你也可以通过在操作系统层部署程序的方式,做到对PostgreSQL会话级的资源隔离管理。
    pg_stat_activity中有你需要的用来区分客户端应用的信息(包括客户端IP, username, dbname, pid, application_name)。

祝大家玩得开心,欢迎随时来 阿里云促膝长谈 业务需求 ,恭候光临。

阿里云的小伙伴们加油,努力做 最贴地气的云数据库

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值