PostgreSQL体系结构

最新推荐文章于 2024-04-13 15:04:57 发布
最新推荐文章于 2024-04-13 15:04:57 发布
阅读量119 收藏
点赞数
文章标签： 数据库 操作系统 ldap

原文： https://www.enmotech.com/web/detail/1/764/1.html   


导读：本文主要从日志文件、参数文件、控制文件、数据文件、redo日志（WAL）、后台进程这六个方面来讨论PostgreSQL的结构。



一、引言


PostgreSQL是最像Oracle的开源数据库，我们可以拿MySQL和Oracle来比较学习它的体系结构，比较容易理解。本文会讨论pg的如下结构：

日志文件
参数文件
控制文件
数据文件
redo日志（WAL）
后台进程


PostgreSQL的主要结构如下：




二、日志文件



2.1 日志文件种类

    1）$PGDATA/log     运行日志(pg10之前为$PGDATA/pg_log)
    2）$PGDATA/pg_wal  重做日志(pg10之前为$PGDATA/pg_xlog)
    3）$PGDATA/pg_xact 事务提交日志(pg10之前为$PGDATA/pg_clog)
    4）服务器日志，可以在启动的时候指定，比如pg_ctl start -l ./alert.log


2.2 运行日志


2.2.1  运行日志参数

运行日志主要相关的参数如下，默认没有开启的话没有log目录，开启后会自动生成。




2.2.2  csv日志入库

CREATE TABLE pg_log
(
  log_time timestamp(3) with time zone,
  user_name text,
  database_name text,
  process_id integer,
  connection_from text,
  session_id text,
  session_line_num bigint,
  command_tag text,
  session_start_time timestamp with time zone,
  virtual_transaction_id text,
  transaction_id bigint,
  error_severity text,
  sql_state_code text,
  message text,
  detail text,
  hint text,
  internal_query text,
  internal_query_pos integer,
  context text,
  query text,
  query_pos integer,
  location text,
  application_name text,
  PRIMARY KEY (session_id, session_line_num)
);

< pg@cs-db /oracle/soft/data/log 16:12 --> pwd
/oracle/soft/data/log
< pg@cs-db /oracle/soft/data/log 16:12 -->
< pg@cs-db /oracle/soft/data/log 16:12 --> ls -rtl
total 8
-rw------- 1 pg pg 168 Nov 10 16:08 postgresql-16.log
-rw------- 1 pg pg 502 Nov 10 16:08 postgresql-16.csv
< pg@cs-db /oracle/soft/data/log 16:12 --> pwd
/oracle/soft/data/log
< pg@cs-db /oracle/soft/data/log 16:12 --> psql
psql (11beta3)
Type "help" for help.

li=# copy pg_log from '/oracle/soft/data/log/postgresql-16.csv' with csv;
COPY 3
li=#

这样就可以用sql来查看了。


2.3 pg_wal  见六


2.4 事务日志pg_xact

 pg_xact是事务提交日志，记录了事务的元数据。默认开启。内容一般不能直接读。


2.5 服务器日志

如果用pg_ctl启动的时候没有指定-l参数来指定服务器日志，错误可能会输出到cmd前台。服务器日志记录了数据库的重要信息，一个服务器日志的内容如下：

[postgres@whf307 log]$ more alert.log
2019-05-16 14:11:36.718 CST [14660] LOG:  listening on IPv4 address "0.0.0.0", port 5432
2019-05-16 14:11:36.718 CST [14660] LOG:  listening on IPv6 address "::", port 5432
2019-05-16 14:11:36.720 CST [14660] LOG:  listening on Unix socket "/data/.s.PGSQL.5432"
2019-05-16 14:11:36.729 CST [14660] LOG:  redirecting log output to logging collector process
2019-05-16 14:11:36.729 CST [14660] HINT:  Future log output will appear in directory "log".

lsof或许可以过滤出在写的日志文件

lsof -c postgres| grep REG | grep -v /usr | grep -v /dev | grep -v /SYS



三、参数文件



3.1 postgresql.conf

pg的主要参数文件，有很详细的说明和注释，和Oracle的pfile，MySQL的my.cnf类似。默认在$PGDATA下。很多参数修改后都需要重启。9.6之后支持了alter system来修改，修改后的会报存在$PGDATA/postgresql.auto.conf下，可以reload或者 restart来使之生效。

主要的参数如下：




3.2 pg_hba.conf

这个是黑白名单的设置。文件里有详细的参数说明，默认参数如下：

# TYPE  DATABASE        USER            ADDRESS                 METHOD
# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            trust
# IPv6 local connections:
host    all             all             ::1/128                 trust
# Allow replication connections from localhost, by a user with the
# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
# local      DATABASE  USER  METHOD  [OPTIONS]
# host       DATABASE  USER  ADDRESS  METHOD  [OPTIONS]
# hostssl    DATABASE  USER  ADDRESS  METHOD  [OPTIONS]
# hostnossl  DATABASE  USER  ADDRESS  METHOD  [OPTIONS]

type 列有local，host，hostssl，hostnossl四种。local是本地认证
database 可以是all，或者指定的数据库
user 列可以是all，或者具体的用户
address 可以是ip或者网段
method 比较重要，有"trust", "reject", "md5", "password", "scram-sha-256",
# "gss", "sspi", "ident", "peer", "pam", "ldap", "radius" or "cert"这么多可选。trust是免密登录；reject是黑名单拒绝；md5是加密的密码；password是没有加密的密码；ident是Linux下PostgreSQL默认的local认证方式，凡是能正确登录服务器的操作系统用户（注：不是数据库用户）就能使用本用户映射的数据库用户不需密码登录数据库


3.3 pg_ident.conf

pg_ident.con是用户映射配置文件。结合pg_hba.connf中，method为ident可以用特定的操作系统用户和指定的数据库用户登录数据库。如下：

pg_ident.conf如下：

# MAPNAME    SYSTEM-USERNAME    PG-USERNAME
mapll　　　　      test                     sa


pg_hba.conf如下：

# TYPE  DATABASE  USER  CIDR-ADDRESS  METHOD
local    all      all        ident  map=mapll



四、控制文件



4.1 控制文件位置

$PGDATA/global/pg_control

控制文件在数据库目录的global目录下。控制文件记录了数据库的重要信息。


4.2 查看控制文件

pg_controldata可以查看控制文件的内容

[postgres@whf307 global]$ pg_controldata  $PGDATA
pg_control version number:            1100
Catalog version number:               201809051
Database system identifier:           6684270596680436587  #dbid
Database cluster state:               in production        # primary
pg_control last modified:             Thu 16 May 2019 02:26:37 PM CST
Latest checkpoint location:           0/48812A0
Latest checkpoint's REDO location:    0/4881268                #redo 位置
Latest checkpoint's REDO WAL file:    000000010000000000000001 #wal文件号
Latest checkpoint's TimeLineID:       1
Latest checkpoint's PrevTimeLineID:   1
Latest checkpoint's full_page_writes: on
Latest checkpoint's NextXID:          0:572          #下一个事务id
Latest checkpoint's NextOID:          16388          #下一个OID
Latest checkpoint's NextMultiXactId:  1
Latest checkpoint's NextMultiOffset:  0
Latest checkpoint's oldestXID:        561
Latest checkpoint's oldestXID's DB:   1
Latest checkpoint's oldestActiveXID:  572
Latest checkpoint's oldestMultiXid:   1
Latest checkpoint's oldestMulti's DB: 1
Latest checkpoint's oldestCommitTsXid:0
Latest checkpoint's newestCommitTsXid:0
Time of latest checkpoint:            Thu 16 May 2019 02:26:36 PM CST
Fake LSN counter for unlogged rels:   0/1
Minimum recovery ending location:     0/0
Min recovery ending loc's timeline:   0
Backup start location:                0/0
Backup end location:                  0/0
End-of-backup record required:        no
wal_level setting:                    replica   #wal级别
wal_log_hints setting:                off
max_connections setting:              100       #最大连接数
max_worker_processes setting:         8
max_prepared_xacts setting:           0
max_locks_per_xact setting:           64
track_commit_timestamp setting:       off
Maximum data alignment:               8
Database block size:                  8192    #数据块大小
Blocks per segment of large relation: 131072
WAL block size:                       8192    #wal 数据块大小
Bytes per WAL segment:                67108864  #单个wal大小
Maximum length of identifiers:        64
Maximum columns in an index:          32
Maximum size of a TOAST chunk:        1996
Size of a large-object chunk:         2048
Date/time type storage:               64-bit integers
Float4 argument passing:              by value
Float8 argument passing:              by value
Data page checksum version:           1
Mock authentication nonce:            f01b78f5a88882f2f1811bbbc637cc4766d57d39831139a6b3e881d76272d892
[postgres@whf307 global]$

controlfile记录了数据库运行的一些信息，比如数据库id，是否open，wal的位置，checkpoint的位置，等等。controlfile是很重要的文件，数据库部署和调整。



五、数据文件



5.1 page

pg中，每个索引和表都是一个单独的文件，pg中叫做page。默认是每个大于1G的page会被分割pg_class.relfilenode.1这样的文件。page的大小在initdb的时候指定（--with-segsize）。


5.2 page物理位置

page的物理位置在$PGDATA/BASE/DATABASE_OID/PG_CLASS.RELFILENODE

mydb=# select relfilenode from pg_class where relname='t1';
 relfilenode
-------------
       16385
(1 row)

mydb=# select pg_relation_filepath('t1');
 pg_relation_filepath
----------------------
 base/16384/16385
(1 row)

mydb=# show data_directory;
 data_directory
----------------
 /data
(1 row)

mydb=# \q
[postgres@whf307 global]$ ls -rtl /data/base/16384/16385
-rw------- 1 postgres postgres 8192 May 16 14:26 /data/base/16384/16385
[postgres@whf307 global]$

需要注意的是，pg_class.relfilenode类似dba_objects.data_object_id，truncate表之后relfilenode会变。对应的物理文件名字也会变。



六、WAL日志



6.1 wal位置

wal在$PGDATA/pg_wal下。10之前为pg_xlog

[postgres@whf307 data]$ cd pg_wal
[postgres@whf307 pg_wal]$
[postgres@whf307 pg_wal]$ ls -rtl
total 65536
drwx------ 2 postgres postgres        6 Apr 27 02:23 archive_status
-rw------- 1 postgres postgres 67108864 May 16 15:56 000000010000000000000001
[postgres@whf307 pg_wal]$


6.2 wal命名格式

文件名称为16进制的24个字符组成，每8个字符一组，每组的意义如下：

00000001 00000000 00000001
-------- -------- --------
时间线     逻辑id    物理id


6.3 查看wal时间

postgres=# select pg_walfile_name(pg_current_wal_lsn());
     pg_walfile_name     
--------------------------
 000000010000000000000001
(1 row)

postgres=#

postgres=# select * from pg_ls_waldir() order by modification asc;
           name           |   size   |      modification     
--------------------------+----------+------------------------
 000000010000000000000001 | 67108864 | 2019-05-16 15:56:32+08
(1 row)
postgres=#


6.4 切换wal

postgres=# select pg_switch_wal();
 pg_switch_wal
---------------
 0/48814E8
(1 row)
postgres=# select * from pg_ls_waldir() order by modification asc;
           name           |   size   |      modification     
--------------------------+----------+------------------------
 000000010000000000000001 | 67108864 | 2019-05-16 16:12:29+08
 000000010000000000000002 | 67108864 | 2019-05-16 16:12:30+08
(2 rows)

6.5 pg_waldump查看wal

pg_waldump可以查看wal的具体内容



七、后台进程



postgres 15309     1  0 15:51 pts/0    00:00:00 /pg/pg11/bin/postgres
postgres 15310 15309  0 15:51 ?        00:00:00 postgres: logger  
postgres 15312 15309  0 15:51 ?        00:00:00 postgres: checkpointer 
postgres 15313 15309  0 15:51 ?        00:00:00 postgres: background writer 
postgres 15314 15309  0 15:51 ?        00:00:00 postgres: walwriter 
postgres 15315 15309  0 15:51 ?        00:00:00 postgres: autovacuum launcher 
postgres 15316 15309  0 15:51 ?        00:00:00 postgres: stats collector 
postgres 15317 15309  0 15:51 ?        00:00:00 postgres: logical replication launcher 


  •   postgres                            主进程

  •   logger                              日志进程

  •   checkpointer                        checkpoint进程

  •   background writer                   数据文件写进程

  •   walwriter                           wal写进程

  •   autovacuum launcher                 autovacuum进程

  •   stats collector                     统计信息收集进程



想了解更多关于数据库、云技术的内容吗？

快来关注“数据和云”公众号、“云和恩墨”官方网站，我们期待与大家一同学习和进步！

一文便可搞懂MySQL-8.0 redo优化


（扫描上方二维码，关注“数据和云”公众号，即可查看更多科技文章）


来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29715045/viewspace-2650788/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29715045/viewspace-2650788/

cssja0232
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PostgreSql学习:体系结构
nzbing的博客
11-17 640
postgreSql
Postgresql之体系结构篇
04-29
本文档主要涉及Postgresql之体系结构，包括其客户端、服务器端的文件分布体系结构，其中也有提供一些好的学习方法和学习网站。
PostgreSQL 体系结构
XY0918ZWQ的博客
07-13 694
PostgreSQL 体系结构1、概念梳理1.1 PostgreSQL数据库文件组成：1.2 数据库实例1.3 PostgreSQL 内部组成2、逻辑和物理存储结构2.1 数据库集簇2.2 数据库的逻辑结构2.3 物理存储结构1）名词解释：2）用户自定义创建表空间3、进程结构3.1 守护进程 & 服务进程3.2 辅助进程4、内存结构4.1 本地内存4.2 共享内存 1、概念梳理 1.1 PostgreSQL数据库文件组成： 物理文件 由一系列位于操作系统上的物理文件组成，通常将这些文理文件称为
postgresql体系结构
zhuhaiqin的专栏
01-26 131
架构基础： PostgreSQL使用一种客户端/服务器的模型。一次PostgreSQL会话由下列相关的进程（程序）组成： 一个服务器进程，它管理数据库文件、接受来自客户端应用与数据库的联接并且代表客户端在数据库上执行操作。 该数据库服务器程序叫做postgres。 那些需要执行数据库操作的用户的客户端（前端）应用。 客户端应用可能本身就是多种多样的：可以是一个面向文本的工具， 也可以是一个图形界面的应用，或者是一个通过访问数据库来显示网页的网页服务器，或者是一个特制的数据库管理工具。 一些
PostgreSQL体系结构（上）
style_boy的博客
04-24 2254
本文主要介绍Postgresql体系结构的配置文件和服务进程部分，内存区域和磁盘存储部分，欲知详情请看下节PostgreSQL体系结构（下）。 PostgreSQL是一种典型的客户端/服务端、多进程架构模型。主体是由一个守护监听进程Postmaster，若干个客户端应用程序（比如psql，navicat，DBeaver……）和若干个后端PostgreSQL进程(postgres，background writer，wal writer，checkpointer……）所组成。 整体上包括以下几个部分: 配置
Postgresql体系结构
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
02-04 470
待更新。
【PG-1】PostgreSQL体系结构概述
最新发布
https://github.com/Tcoder-l3est
04-13 983
pg 体系结构概述
【PostgreSQL体系结构概述】
小怪兽的博客
12-27 330
PostgreSQL的物理架构由 共享内存、一系列后台进程和数据文件组成一、共享内存 共享内存是服务器为数据库缓存和事务日志缓存预留的内存缓存空间 Shared Memory=Shared Buffer + WAL Buffer Shared Buffer的目的是减少磁盘IO ，为了达到这个目的，必须满足以下规则： 当需要快速访问非常大的缓存时（10G、100G等） 如果有很多用户同时使用缓存，需要将内容尽量缩小 频繁访问的磁盘块必须长期放在缓存中 WAL Buffer是用来 临时存储数据库变化
6.PostgreSQL体系结构
weixin_43346403的博客
03-23 377
pg体系架构
PostgreSQL数据库体系结构
lltfjsy的博客
12-06 1242
PostgreSQL数据库体系结构
Postgresql之体系结构全掌握
08-26
PostgreSQL是一种开源的对象关系型数据库管理系统，其体系结构复杂而精细，旨在提供高效、稳定且功能丰富的数据存储和管理解决方案。以下将详细解析PostgreSQL的主要组成部分及其作用。 1. **核心组件** - **...
PostgreSQL 存储体系结构
11-08
### PostgreSQL 存储体系结构详解 #### 一、概述 PostgreSQL是一款开源的、功能全面的关系型数据库管理系统，因其强大的特性和灵活性而受到广泛好评。本文档将通过一系列的图片和示例，深入探讨PostgreSQL的内部...
postgresql第二课：体系结构和特色用法1
08-08
【PostgreSQL 体系结构与特色】 PostgreSQL，作为大数据时代备受推崇的数据库系统，是由加州大学伯克利分校计算机系于90年代开发的。这个学府同样孕育了如Spark这样的大数据处理框架，其在数据库领域的影响力...
PostgreSQL博客1
08-08
**PostgreSQL的体系架构** 在Linux环境下，PostgreSQL主要由以下几个关键进程组成： 1. **postgres主进程**：这是启动数据库集群的父进程，负责管理其他子进程，如背景工作者和服务进程。 2. **后台工作者**：包括...
Apache体系结构ppt
03-22
本篇将基于提供的"Apache体系结构ppt"来探讨Apache服务器的核心架构和主要组件，以及其在源码层面的一些关键特性。 1. **模块化设计** Apache服务器采用模块化的设计理念，允许用户根据需求自由添加或移除功能模块...
2pgsql体系结构
01-19
2 postgres bki2.2.4系统数据库2.3 Postgresql进程结构2.6服务进程 Postgres2.6.1初始化内存环境2.6.2配置运行参数和处理客户端传递的GUC参数2.6.3设置信号处理和信号屏破 Pg是一种运行在各种平台上的免费的开源的...
PostgreSQL数据库内核分析
03-10
postgresql数据库内核分析》 前 言 第1章 postgresql系统概述 1.1 postgresql简介及发展历程 1.2 postgresql的特性 1.3 postgresql的应用 ...第2章 postgresql的体系结构 2.1 系统表 2.1.1 主要系统表功能及依赖关系
squelizer-orm-nodejs-postgresql：通用Sequalize API体系结构，带有Postgresql数据库的Nodejs
02-25
总结一下，`squelizer-orm-nodejs-postgresql`是一个利用Sequelize ORM实现的通用API体系结构，专为PostgreSQL数据库设计。通过中间件机制，项目提供了一种统一的方式来处理数据库操作，增强了可维护性和可扩展性。...
深入理解PostgreSQL体系结构
本文档是关于PostgreSQL数据库的体系结构详解，旨在帮助读者全面理解PostgreSQL的内部工作原理和组织结构。 PostgreSQL是一种强大的开源关系型数据库管理系统，它以其高度可扩展性和强大的功能而闻名。在PostgreSQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值