- 博客(147)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 pg解决热点问题的集中方法
1、传统方法vi test.sql update a set cnt=cnt-1, ts=clock_timestamp() where id=1 returning *; pgbench -M prepared -n -r -P 1 -f ./test.sql -c 12 -j 12 -T 120 2、skip locked 跳过被锁的行update a set cnt=cnt-1 , ts=clock_timestamp() where ctid = (s...
2021-11-04 19:39:16
303
原创 pgBagder日志分析
1 前言pgBagder 是 PostgreSQL 的新一代日志分析器, 由 Darold (也是 ora2pg 的作者, 强大的迁移工具) 创建的。pgBadger 是一种快速、简便的工具, 用于分析 SQL 通信量, 并使用动态图来创建 HTML5 报告。pgBadger 是了解 PostgreSQL 服务器的行为并确定需要优化哪些 SQL 查询的完美工具。pgBagder 是在linux操作系统中运行的程序，可以实现日志异机分析。2 安装环境操作系统：Linux。本文操作系统版本为 Cen
2021-08-23 17:10:14
510
原创 vacuum freeze
背景PostgreSQL 目前默认的存储引擎，事务可见性需要依赖行头的事务号，因为事务号是32位的，会循环使用。在一条记录产生后，如果再次经历了20亿个事务，必须对其进行freeze，否则数据库会认为这条记录是未来事务产生的（可见性判断）。因此FREEZE操作是数据库在32位事务号的情况下，经常要做的。对全表进行FREEZE操作时，会扫描整表，将大于指定阈值least(autovacuum_freeze_min_age, 表级参数vacuum_freeze_min_age)年龄的记录设置为f
2021-01-27 14:47:51
1754
4
原创 postgresql垃圾清理插件pg_repack
pg_repack插件部署：wget http://api.pgxn.org/dist/pg_repack/1.4.5/pg_repack-1.4.5.zipsource /home/postgres/.bash_profilemakemake installcreate extension pg_repack;--到指定数据库下执行Postgresql通过数据多版本实现mvcc，删除数据并不会真正删除数据，而是修改标识，更新是通过删除+插入的方式进行，所以在频繁更新的系统，数据膨胀是个头
2020-06-03 13:40:02
1170
原创 PostgreSQL逻辑订阅logical
逻辑订阅是PostgreSQL10.0开始支持的新功能,PostgreSQL的物理流复制功能十分强大,在容灾、读写分离、HA等场景中都有广泛的使用,那么为什么还需要逻辑订阅呢?我们先来看看物理流复制和逻辑订阅有哪些区别,主要有以下几点不同:物理复制目前只能做到整个集群的复制。逻辑订阅可以做到针对某个对象物理复制的备库只读，不能写入。逻辑订阅读写都可以,逻辑订阅需要等待事务提交后，发布端才会使用wal_sender进程将decode后的数据发送给订阅端，订阅端流式接收与流式apply,因此逻辑订阅对主
2020-05-26 14:51:11
1203
原创 postgresql 计划任务插件pg_cron
简介：pg_cron 相当于在database内部的一个crontab程序，类似于Oracle中的job和scheduler.pg_cron 可以同时运行多个job，但在同一时刻，只有一个job在执行，后续的job会挂起，直到前一个执行完成。项目地址：https://github.com/citusdata/pg_cron先来一段实例后面附录官网的详细介绍：create extension pg_cron;create table t_cron ( insert_date timestam
2020-05-19 15:45:06
1443
原创 postgresql-物理化视图
背景当用户在管理数据库时，如果要在交互式界面跑一些QUERY，但是不知道QUERY要运行多久，担心网络问题或者其他问题导致终端断开，QUERY执行情况不明的话。就需要后台运行这个功能了。后台运行在LINUX中也很常见，比如nohup ls -la / >/tmp/result 2>&1 & 这样的话，即使断开会话也没关系，这条命令会在后台运行，并将标准输出存入/tmp/result，标准错误也重定向到标准输出。对于PostgreSQL数据库，在10.0的
2020-05-12 12:17:00
1007
原创 postgresql启动关闭
名称：pg_ctl -- 启动、停止、重启 PostgreSQL语法pg_ctl start [-w] [-s] [-D datadir] [-l filename] [-o options] [-p path]pg_ctl stop [-W] [-s] [-D datadir] [-m s[mart] | f[ast] | i[mmediate] ]pg_ctl restart [-w...
2018-10-15 11:15:41
24306
原创 postgresql-postGis空间数据
-bash-4.2$ psqlpsql (10.4)Type "help" for help.postgres=# \dx List of installed extensions Name | Version | Schema | Descri...
2018-09-07 19:13:28
1161
3
转载 11GR2-EXPDP导出很慢
Expdp and event ‘Streams AQ: enqueue blocked on low memory’Categories：OracleOur daily expdp backup job became abnormally and it would last more than one day, while in the past it just took about 4...
2018-08-31 10:12:27
3743
1
转载 Postgres 数据表文件存储位置
initdb 的时候会指定一个 PGDATA 目录，这就是 PostgresQL 存储数据的地方。典型的位置是在 /var/lib/postgres/data 或 /home/postgres/data 。PGDATA 下面各项存储的内容大概是：文件或目录名存储内容PG_VERSIONPostgresQL 实例的版本号如 9.3 之类的base每个 database 会在 base 目录下有一个子...
2018-05-31 11:53:42
15068
1
原创 postgresql-备份恢复
pg_dump支持指定所要备份的对象：可以单独备份表、schema或者database；pg_dumpall仅支持导出全库数据。pg_dump可以将数据备份为SQL文本文件格式，也支持备份为用户自定义的压缩格式或者TAR包格式。在恢复数据时，对压缩格式和TAR包格式的备份文件可以实现并行恢复，该特性是从8.4版开始支持的。pg_dumpall仅可以将当前PostgreSQL服务实例中所有datab...
2018-05-28 17:34:52
249
转载 postgresql-最大的单表只能是32TB ?
为什么postgresql最大的单表只能是32TB？这需要从数据文件来说起。在postgresql中，一张表对应多个数据文件。数据文件中存储的是page，每一个page都有一个单独的编号，因为pg寻址空间采用的是32位，也就是2^32=4294967296，也就是一组数据文件中最多存放这些page。按照默认的block_size设置为8K，可以计算出来一组数据文件最大的大小是32T。这里，注意我说...
2018-05-24 10:59:21
2828
转载 postgresql-系统对象介绍
参考：https://yq.aliyun.com/ziliao/91747pg_class: 是一个对象表，表的每个字段都是‘rel’开头，分明就是 ‘relation’这个单词的缩写，意思就是‘关系’。表中relkind字段决定对象类型：r = 普通表，i = 索引，S = 序列，v = 视图， c = 复合类型，s = 特殊，t = TOAST表。对象所属的relnamespace（模式名称）...
2018-05-23 14:11:45
1250
原创 PostgreSql10-日志说明
一、PostgreSQL有3种日志： 1）pg_log（数据库运行日志） 内容可读 默认关闭的，需要设置参数启动 (log_directory = 'log' ; log_filename = 'postgresql.log';logging_collector = on) 1.启用pg_log并配置日志参数log_destination = 'csvlog'logging_c...
2018-05-22 21:15:48
2901
原创 PostgreSql-参数查看配置
通过查询数据库字典pg_settings来查看当前参数的一些配置。该数据字典类似于Oracle里面的v$parameter或是x$ksppi，x$ksppcv。[pgsqladmin@pgsql ~]$ psql -d postgrespostgres=# \d pg_settings View "pg_catalog.pg_settings" Column | Type | Mo...
2018-05-19 14:31:59
14424
1
原创 PostgreSql10-常用操作及视图
#查看数据库中的所有schemaSELECT * FROM information_schema.schemata; #查看某用户的表权限select * from information_schema.table_privileges where grantee='xttblog';#查看usage权限表select * from information_schema.usage_privile...
2018-05-18 11:27:13
1044
原创 PostgreSql10-psql快捷命令
\du #显示用户和用户的用户属性\dn #显示所有的schemas\h #查看所有的sql关键字\dt #查看表\di #查看索引 \? #命令行操作的帮助\d #查看当前schema 中所有的表\q #退出pg命令行\d #schema.table 查看表的结构\x #横纵显示切换 \dT+ #显示扩展...
2018-05-18 11:23:47
2134
原创 12C-RMAN基于时间点单表恢复
重要提示：1、确保对于辅助数据库在/u01文件系统下有足够的可用空间，同时对数据泵文件也有同样保证2、必须要存在一份完整的数据库备份，或者至少是要有SYSTEM相关的表空间备份3、以下是在RMAN中应用表或分区恢复的限制和约束：4、SYS用户表或分区无法恢复5、存储于SYSAUX和SYSTEM表空间下的表和分区无法恢复6、当REMAP选项用来恢复的表包含NOT NULL约束
2016-10-31 16:26:30
3346
原创 12C-PDB基于时间点恢复
RMAN> run{2> set until time "TO_DATE('2016-10-31 12:03:08','yyyy-mm-dd hh24:mi:ss')";3> restore pluggable database zaki1;4> recover pluggable database zaki1 ;5> }executing command: SET u
2016-10-31 13:38:59
980
原创 12C-CDB中PDB间的转换
--DB启动后，默认是不启动PDB，可通过触发器来实现CREATE TRIGGERopen_all_pdbs AFTER STARTUP ON DATABASEBEGIN EXECUTE IMMEDIATE 'alter pluggable databaseall open';ENDopen_all_pdbs;/ --CDB中PDB创建的几种方法方法
2016-10-27 16:37:41
469
原创 docker-py的用法
docker官网有个docker-py，用起来很是清爽简单，下面简单介绍一下。 首先安装docker的python相关的模块root@dev-ops:~# pip install docker-pyRequirement already satisfied (use --upgrade to upgrade): docker-py in /usr/local/lib/python2
2016-10-11 16:27:45
4762
原创 Docker Swarm
Docker Swarm项目DockerSwarm是Docker官方编排(项目之一,负责对Docker集群进行管理.DockerSwarm将一群Docker宿主机变成一个单一的,虚拟的主机.Swarm使用标准的Docker API接口作为其前端访问入口,换言之,各种形式的Docker工具比如Dokku,Compose,Krane,Deis,Docker-py,Docker本身等都可以很容易
2016-09-23 14:09:02
585
原创 用户安全认证的registry server
创建registry server端1.下载registry2.2镜像docker pull registry:2.22.生成自签名证书，如果是购买的证书就不用了，直接用购买的证书即可。假如域名是：test.docker.com创建目录：mkdir registry && cd registry && mkdir certs && cd certsopenssl req
2016-09-02 14:14:54
1384
1
原创 12C新特性之对表分区维护的增强
12C新特性之对表分区维护的增强验证：1、在Oracle 12c R1之前，一次只可能添加一个新分区到一个已存在的分区表。要添加一个以上的新分区，需要对每个新分区都单独执行一次ALTER TABLE ADD PARTITION语句。而Oracle 12c只需要使用一条单独的ALTERTABLE ADD PARTITION 命令就可以添加多个新分区，这增加了数据库灵活性。以下示例说明了如何添加多
2016-08-16 15:31:06
691
原创 12C新特性之在线迁移活跃的数据文件
12C新特性之在线迁移活跃的数据文件验证：[oracle@rhel6-12c ~]$ sqlplussystem/'Navinfo1!'@zaki1Connected to:Oracle Database 12c Enterprise EditionRelease 12.1.0.2.0 - 64bit ProductionWith the Partitioning, Oracle
2016-08-15 16:45:02
885
原创 12c环境中的cdb与pdb
Oracle 12C引入了CDB与PDB的新特性，在ORACLE 12C数据库引入的多租用户环境（Multitenant Environment）中，允许一个数据库容器（CDB）承载多个可插拔数据库（PDB）。CDB全称为Container Database，中文翻译为数据库容器，PDB全称为Pluggable Database，即可插拔数据库。在ORACLE 12C之前，实例与数据库是一对一或多
2016-08-03 15:52:58
843
原创 CPU与内存资源限制
CPU与内存资源限制：--参数修改Editthe /etc/default/grub file.Set theGRUB_CMDLINE_LINUX value as follows:GRUB_CMDLINE_LINUX="cgroup_enable=memory swapaccount=1"Saveand close the file.UpdateGRUB. $ s
2016-07-28 15:47:19
2111
原创 Docker默认存储路径修改
Docker默认存储路径修改：root@gguxxing-docker:/var/lib#docker infoContainers:17Images:50ServerVersion: 1.9.1StorageDriver: aufs Root Dir:/var/lib/docker/aufs Backing Filesystem: extfs Dirs: 84
2016-07-27 16:51:51
5890
原创 容器间建立连接案例-mysql
容器简介：容器的连接（linking）系统是除了端口映射外，另一种跟容器中应用交互的方式。该系统会在源和接收容器之间创建一个隧道，接收容器可以看到源容器指定的信息。自定义容器命名：1、连接系统依据容器的名称来执行。因此，首先需要自定义一个好记的容器命名。2、虽然当创建容器的时候，系统默认会分配一个名字。自定义命名容器有2个好处：1、自定义的命名，比较好记，比如一个web应用
2016-06-23 16:41:08
1388
转载 Docker-Dockerfile构建镜像
原文地址：http://blog.csdn.net/we_shell/article/details/38445979Dockfile是一种被Docker程序解释的脚本，Dockerfile由一条一条的指令组成，每条指令对应Linux下面的一条命令。Docker程序将这些Dockerfile指令翻译真正的Linux命令。Dockerfile有自己书写格式和支持的命令，Docker程
2016-06-14 16:03:19
390
原创 Docker-Ubuntu安装
Ubuntu 系列安装 Docker 通过系统自带包安装： Ubuntu14.04 版本系统中已经自带了 Docker 包，可以直接安装。 $ sudoapt-get update$ sudoapt-get install -y docker.io 系统默认安装的docker版本为1.6.2 通过Docker源安装指定版本：要安装最新的 Docker 版本，首先需要安装
2016-06-07 17:01:47
906
原创 Docker-网络配置
一、Docker提供了四种网络模式： - host模式，使用–net=host指定。 - container模式，使用–net=container:NAME_or_ID指定。 - none模式，使用–net=none指定。 - bridge模式，使用–net=bridge指定，默认设置。 下面分别简单介绍一下各种网络模式。host模式如果启动容器的时候使用host模式，
2016-06-03 12:43:03
5588
原创 docker-容器常用操作
查看容器日志：docker logs -f 查看正在运行的容器：docker psdocker ps -a为查看所有的容器，包括已经停止的。docker ps -a -q 查看容器的ID删除所有容器：docker rm $(docker ps -a -q)删除单个容器docker rm 停止、启动、杀死一个容器：docker stop do
2016-06-01 16:32:47
1836
1
原创 在Linux 5中为oracle配置hugepage的方法
在Linux 5中为oracle配置hugepage的方法http://unix-cd.com/vc/www/16/2011-01/17676.html2011-01-17 22:46 来源: frankfan126.cublog.cn 作者：frankfan126Hugepage/Big page: 系统进程是通过虚拟地址访问内存，但是CPU必须把它转换程物理
2013-07-22 12:16:15
649
原创 关于ORA-01034和ORA-27101的一种解决方法
1 先看oracle的监听和oracle的服务是否都启动了。启动oracle监听：cmd的命令行窗口下，输入lsnrctl start，回车即启动监听。2 查看oracle的sid叫什么，比如创建数据库的时候，实例名叫“abc”，那么先手工设置一下oralce的sid，cmd命令窗口中，set ORACLE_SID=abc3 再输入sqlplus /nolog,回车再输入
2013-06-25 10:38:24
1002
原创 Oracle Database PSU/CPU
1. 什么是PSU/CPU？CPU: Critical Patch UpdateOracle对于其产品每个季度发行一次的安全补丁包，通常是为了修复产品中的安全隐患。PSU: Patch Set UpdatesOracle对于其产品每个季度发行一次的补丁包，包含了bug的修复。Oracle选取被用户下载数量多的，并且被验证过具有较低风险的补丁放入到每个季度的PSU中。在每个PSU中不
2013-06-03 15:52:11
565
原创 SGA相关的几个动态性能视图
总结一些SGA的相关的动态性能视图：SQL> select * from v$version;BANNER----------------------------------------------------------------Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 - 64biPL/SQL
2013-05-15 17:06:45
817
原创 Shutdown Normal or Shutdown Immediate Hangs. SMON disabling TX Recovery
Shutdown Normal or Shutdown Immediate Hangs. SMON disabling TX Recovery Description===========SHUTDOWN NORMAL or SHUTDOWN IMMEDIATE hangs. In the alert.log, you see only the following: Shutt
2013-05-06 17:16:36
2012
原创 IMP-00060:type does not exist or has different identifier
IMP-00060:type does not exist or has different identifier今天在做一个数据库迁移的时候，在imp的时候出现了一个奇怪的报错： ……. . importing table "APPLY_SERV_BAK070713" 1542 rows imported. . importing table
2013-05-02 17:33:37
2138
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人