eagle89的专栏

转载 postgres 数据库 citus 集群分片

文档结构：以下前言来自网络前言什么时候需要考虑做数据切分？1、能不切分尽量不要切分并不是所有表都需要进行切分，主要还是看数据的增长速度。切分后会在某种程度上提升业务的复杂度，数据库除了承载数据的存储和查询外，协助业务更好的实现需求也是其重要工作之一。 不到万不得已不用轻易使用分库分表这个大招，避免"过度设计"和"过早优化"。分库分表之前，不要为分而分，先尽力去做力所能及的事情，例如：升级硬件、升级网络、读写分离、索引优化等等。当数据量达到单表的瓶颈时候，再考虑分库分表。..

原创 ceph 数据均衡调整

故障描述openstack环境中若干台虚拟机无法正常操作，尝试从horizon中重启虚拟机，重启过程中虚拟机状态一直停留在”powering on”的状态，无法进入系统查看openstack环境，发现后端ceph的状态异常,一个OSD full，一个near full。（clock是这个集群已知问题，这里不做介绍）(ceph-mon)[root@Node-160 /]# ceph -s cluster 8a946765-1bb5-40bc-a0bc-4cd830aee2a4

原创 Ceph出现”1 full osd(s)”，整个集群不可用的问题调查

问题描述一个服务连接不上ceph的对象存储网关，重启ceph对象存储网关，也不生效。ceph服务网关的日志如下:2017-10-31 19:51:21.158008 7f3b789b99c0 0 deferred set uid:gid to 167:167 (ceph:ceph)2017-10-31 19:51:21.158206 7f3b789b99c0 0 ceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185),

原创 pglogical

规划图版本 复制角色 主机名 IP 数据库 模式 用户名11.2 提供者 test01 10.175.2.186 lxdb lxdb01 lxdb0111.2 订阅者 test02 10.175.2.187 lxdsdb lxdb01 lxdb01准备工作提供者节点创建表空间，数据库，模式及其用户 postgres=# cr...

转载 PostgreSQL逻辑复制之slony

Slony是PostgreSQL领域中最广泛的复制解决方案之一。它不仅是最古老的复制实现之一，它也是一个拥有最广泛的外部工具支持的工具，Slony使用逻辑复制；Slony-I一般要求表有主键,或者唯一键；Slony的工作不是基于PostgreSQL事务日志的，而是基于触发器的；基于逻辑复制高可用性，PostgreSQL除了slony；还有Londiste,BDR等等后续文章会讲到。1. 安装Slony下载地址：http://www.slony.info安装步骤tar -jxvf slony

转载 PostgreSQL逻辑复制之pglogical篇

一、pglogical介绍pglogical 是 PostgreSQL 的拓展模块, 为 PostgreSQL 数据库提供了逻辑流复制发布和订阅的功能。 pglogical 重用了 BDR 项目中的一部分相关技术。pglogical 是一个完全作为PostgreSQL 扩展实现的逻辑复制系统。完全集成，它不需要触发器或外部程序。这种物理复制的替代方法是使用发布/订阅模型复制数据以进行选择性复制的一种高效方法。支持 PG10、9.6、9.5、9.4 ，提供比 Slony、Bucardo 或 Londist

原创 PG据库备份与恢复实验 (PITR)

一、概述此文档描述了Postgresql数据库备份方案, 当数据库发生崩溃时，如何利用备份恢复到崩溃前，保证数据库最少数据量丢失甚至不丢失；二、备份恢复原理运用在线备份以及即时恢复(PITR)原理,利用Postgresql 数据库的WAL（Write Ahead Logging ）预写日志和基础备份( $PGDATA目录文件tar包 )，恢复到数据库崩溃前时间点，保证数据量最少丢失或者不丢失，如果数据库崩溃，我们就可以通过热备产生的备份文件data_bak.tar包 ($PGDATA目录文件ta

转载 航空公司数据库设计

背景通过学习航空公司数据库设计，学习PostgreSQL的使用。这个DEMO来自postgrespro：https://postgrespro.com/docs/postgrespro/10/demodb-bookings.html加载航空公司数据可以任选一个数据集，使用pg_restore还原到你的PostgreSQL数据库中，还原时，会新建一个demo数据库，数据导入demo数据库中。demo-small.zip(21 MB) — flight data for one ..

原创 MYSQL锁

原创 PostgreSQL 数据库目录迁移

说明：以9+版本为例，10+的版本只要把目录替换一下即可。迁移目录肯定是要停服的！1、在数据库软件安装之后，初始化数据库时候，可以指定初始化时创建的数据库的默认文件路径/usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data这样初始化之后，再修改配置文件postgresql.conf为修改之后的数据文件路径，就能保证以后的数据文件也在这个路径下。备注：可以通过find查找该文件的所在位置。2、如果是已经初始化好了，再修改数据文件路径的，如

原创 PG锁机制

原创 常用SQL

PG 库优化路漫漫，如果没有合适的工具 、规范或者方法提前发现数据库性能问题，只能通过应用倒逼发现数据库问题，非常被动。变被动为主动的前提是手持利器 。• create extension pg_stat_statements;• 最耗时SQL(整体数据库优化，建议以此结果逐条优化，效果立竿见影)• 总最耗时 SQL TOP 5select dbid, query from pg_stat_statements order by total_time desc limit 5;• 其他..

原创 用户权限管理

背景最近在学习PostgreSQL，看了用户权限管理文档，涉及到的知识点比较多，顺便写篇文章进行整理并不定时更新，也方便自己后续进行查阅。说明注意：创建好用户（角色）之后需要连接的话，还需要修改2个权限控制的配置文件（pg_hba.conf、pg_ident.conf）。并且创建用户（user）和创建角色（role）一样，唯一的区别是用户默认可以登录，而创建的角色默认不能登录。创建用户和角色的各个参数选项是一样的。Tip：安装PostgreSQL会自动创建一个postgres用户，需要切换到.

原创 PG数据库用户权限管理

创建用户/角色CREATE USER/ROLE name [ [ WITH ] option [ ... ] ] : 关键词 USER,ROLE； name 用户或角色名； where option can be: SUPERUSER | NOSUPERUSER :超级权限，拥有所有权限，默认nosuperuser。 | CREATEDB | NOCREATEDB :建库权限，默认nocreatedb。 | CREATEROLE | NOCREA