目录
一. PostgreSQL
1. 简介
PostgreSQ,作为一个功能强大且开源的对象关系型数据库管理系统(ORDBMS),自其诞生以来,便以其卓越的性能和丰富的特性赢得了全球开发者和企业的青睐。源自加利福尼亚大学伯克利分校的PostgreSQL,不仅继承了其前身 Ingres 的精髓,更在不断的发展中推陈出新,成为了现代数据库领域的佼佼者。
2. 特点
- 开源与自由:PostgreSQL完全开源,遵循PostgreSqL许可证,这一特性使得用户可以自由地使用、修改和分发 PostgreSqL,无需担心版权问题,同时也促进了全球开发者的积极参与和贡献。
- 标准符合性:PostgreSqL 高度符合 SQL标准,支持复杂的查询语法、子查询、窗口函数、公共表表达式(CTE)等高级特性,使得开发者可以更加灵活地编写高效、易读的 SQL 代码。
- 数据类型丰富:PostgreSqL 提供了丰富的数据类型,包括基本类型(如整数、浮点数、字符串等)、日期和时间类型、数组、枚举、范围类型、JSON、地理空间类型等,这些类型极大地扩展了 PostgreSQ 的应用范围,使其能够处理各种复杂的数据场景。
- 事务与并发:PostgreSQL采用多版本并发控制(MVCC)机制,确保了在高并发环境下的数据一致性和隔离性。同时,PostgreSL还支持复杂的事务处理,包括嵌套事务、保存点等,为开发者提供了强大的事务管理能力。
- 扩展性:PostgreSQL支持扩展和插件机制,允许用户根据需要定义新的数据类型、函数、操作符、索引方法等。这一特性使得 PostgreSQL, 能够不断适应新的业务需求和技术发展。
- 安全性:PostgreSqL提供了细粒度的访问控制、加密传输、审计日志等安全特性,确保了数据库的安全性和数据的保密性。
3. 优势
- 高性能:PostgreSqL通过优化查询计划、支持并行查询、分区表等特性,提2供了卓越的性能表现。即使在处理大规模数据和高并发访问时,也能保持高效的响应速度。
- 高可用性:PostgreSqL 支持主从复制、流复制和逻辑复制等多种复制方式,使得数据库系统能够轻松实现高可用性和容灾备份。在发生故障时,能够快速恢复服务,确保业务的连续性。
- 灵活性:PostgreSQL的丰富数据类型和高级特性使得它能够灵活应对各种复杂的业务场景。无论是处理结构化数据还是非结构化数据,PostgreSqL都能提供强大的支持。
- 社区支持:PostgreSQ拥有一个活跃的开发者社区和丰富的生态系统。社区中不仅有大量的教程、文档和插件可供使用,还有众多经验丰富的开发者愿意分享经验和解答问题。
- 成本效益:作为开源软件,PostgreSQL降低了企业的成本投入。同时,其卓越的性能和广泛的应用场景也使得 PostgreSqL 成为了许多企业的首选数据库产品。
4. 架构
PostgreSqL的架构设计体现了其高性能和可扩展性的特点。在逻辑层面上PostgreSq 包含了数据库集群、表空间、数据库、Schema、表、索引等结构;在物理层面上,则包括数据文件、日志文件、参数文件、控制文件等物理存储方式。其中,数据块(Page)作为数据读写的基本单位,在PostgreSQL 中扮演着至关重要的角色。通过优化数据块的读写效率和布局方式,PostgreSQL能够进一步提高其性能表现。
5. 应用场景
PostgreSQL广泛应用于各种业务场景中,包括但不限于以下方面:
- 企业应用:如ERP、CRM、HRM等系统,需要处理复杂的事务和查询操作。PostgreSqL, 凭借其高性能和事务处理能力,能够为企业应用提供稳定可靠的数据支持。
- 数据分析:在数据仓库和商业智能领域,PostgreSqL凭借其丰富的数据类型和高级查询特性,能够轻松应对大规模数据分析和挖掘任务。
- Web 应用:对于需要高并发访问和实时数据处理的 Web 应用来说,PostgreSQl的 MVCC 机制和扩展性特性使得其成为了一个理想的选择。
- 地理信息系统(GIS):通过PostGIS扩展,PostgreSQL能够支持地理空间数据的存储和分析功能,为GIS 应用提供了强大的数据支持。
- 物联网与大数据:随着物联网和大数据技术的不断发展,PostgreSQL凭借其高性能、可扩展性和丰富的数据类型特性,在物联网和大数据领域中也得到了广泛的应用。
二. 安装PostgerSQL
1. 编译安装
(1) 安装编译安装所需环境
(2) 编译安装
解压源码包 切换目录 指定安装目录
编译及安装
配置环境
创建用户 创建数据存储目录 更改数据存储目录的归属用户
(3) 配置环境变量
在配置文件最后面添加
刷新环境变量
(4) 登录数据库
注意:不要使用root用户登录,切换到postgers这个用户
初始化数据库初始完后最后一行有一个使用这可命令可以开启数据库
2. DNF安装
(1) 安装postgreSQL
[root@localhost ~]# dnf -y install postgresql-server
(2) 初始化数据库
[root@localhost ~]# postgresql -setup --initdb
(3) 登录数据库
注意:不要使用root用户登录,切换到postgers这个用户
[root@localhost ~]# su - postgres
[postgres@localhost ~]$ psql
三. postgreSQL结构
1. PG的逻辑结构
PG 采用了多层逻辑结构:第一层为实例,第二层为数据库(每个实例下可有多个相互独立的数据库),第三层为Schema(每个数据库下包含多个 Schema)每个 Schema 下可以创建表、视图、索引、函数等数据库对象。
- Database cluster(数据库集簇):由postgresqlserver管理的数据库的集合,下面由多个 database 组成。一个数据库集簇可以包含多个 Database、多个User,每个 Database 以及 Database 中的所有对象都有它们的所有者:User。
- Database 数据库: Postgres 默认数据库、Template0 最精简模板、Template1默认模板;数据库本身也是数据库对象,并且在逻辑上彼此分离。存储 schema 的一个逻辑空间,对应在物理层面上也是一个目录。
- Schema:一个数据库可以有多个 User 用户,多个 Schema 模式,默认创建一个数据库会存储在默认表空间,它包含一个 Public 名称的 Schema 模式(拷贝自Template1 模板)。它可隔离多个用户之间相同名称的对象。一个数据库可以有多个 Schema 模式,他们互不相关互相隔离。实际存储数据库对象的逻辑空间->逻辑上的对象编号,schema 是依附于数据库而存在的。
- User 用户:postgres用户是默认创建的超级管理员;每个数据库都有一个OWNER 用户,每个用户可以 OWNER 多个数据库。数据库对象:这里包含了 table,index,view,序列,数等,数据最终存储在表中。表的组成表由多个 page[ block]组成)一个page 包含(页头信息空闲空间 Tuple),实际存储数据的区域->对应到物理层面上就是文件 -->page构成
- tablespace:存储数据库的一个逻辑空间,可以存放不同的数据库-->对应在物理层面上是一个目录
- OID:所有数据库对象都有各自的 oid(object identifiers),oid 是一个无符号的四字节整数,相关对象的 oid 都存放在相关的 system catalog 表中,比如数据库的 oid 和表的 oid 分别存放在 pg database,pg class 表中。
总结:
(1)从大小排列 database cluster-->databases-->schema-->objects
(2)Tablespace 是数据最大的存储空间, Database 是构成表空间的存储单元,pages是PostgreSql 数据库中最小的 10 单元
2. PG的物理结构
数据库的文件默认保存在 initdb 时创建的数据目录中。在数据目录中有很多类型、功能不同的目录和文件,除了数据文件之外,还有参数文件、控制文件、数据库运行日志及预写日志等。
(1) 软件安装目录
PostgreSQL 数据库的软件目录通常是在/usr 目录下(也可自定义位置),使用 pg_confg 命令可以看到当前数据库的基本情况,也可以在环境变量中可以看到。
安装目录里的基本内容如下
其中各个目录里的内容及用途:
- bin:二进制可执行文件,是PG数据库的所有相关命令所在,为方便使用需设置到环境变量中
- lib :动态库目录,PostgreSQ运行所需要的动态库都在此目录下
- share:放有文档和配置模板文件,一些拓展插件的 SQL 文件在此目录下的extension 中
- data:目录是数据库集群的物理存储核心,包含用户数据、元数据和配置文件
- include:目录则提供编译扩展和客户端程序所需的C语言头文件。
(2) 数据库目录结构
bash-4.2$ tree -L 1 -d /usr/local/pgsql/data/
/usr/local/pgsql/data/ --数据目录
base --表和索引文件存放目录
global --影响全局的系统表存放目录
pg_commit_ts --事务提交时间戳数据存放目录
pg_dynshmem --被动态共享所使用的文件存放目录
pg_logical --用于逻辑复制的状态数据
pg_multixact --多事务状态的数据
pg_notify --LISTEN/NOTIFY 状态的数据
pg_replslot --复制槽数据存放目录
pg_serial --已提交的可序列化信息存放目录
pg_snapshots --快照
pg_stat --统计信息
pg_stat _tmp --统计信息子系统临时文件
pg_subtrans --子事务状态数据
pg_tblspc --表空间
pg_twophase --预备事务状态文件
pg_wal --事务日志(预写日志)
pg_xact --日志提交状态的数据存放目录
文件和目录相关作用描述:
- files:description
- pg_VERSION:包含postgresql主版本号的文件
- pg_hba.conf:控制postgresql客户端验证的文件 控制PG客户端认证文件 主机 数据库 用户 ip地址认证方式
- pg_ident.conf:控制postgresql用户名映射的文件,配置操作系统用户和数据库服务器上的用户映射
- postgresql.conf:配置参数文件
- postgresql.auto.conf:用于存储在ALTER SYSTEM(版本9.4或更高版本)中设置的配置参数的文件
- postmaster.opts:记录服务端上一次启动的命令行选项
- subdirectories:description
- base/:包含每个数据库子目录的子目录
- global/:包含群集范围表的子目录,例如pg_database和pg_control
- pg_commit _ts/:包含事务提交时间戳数据的子目录。9.5版本以后
- pg_clog/(Version 9.6or earlier): 包含事务提交状态数据的子目录。它在版本10中重命名为pg xact.CLOG
- pg_dynshmem/:包含动态共享内存子系统使用的文件的子目录。9.4版本以后
- pg_logical/:包含逻辑解码的状态数据的子目录。9.4版本以后
- pg_multixact/:包含多事务状态数据的子目录(用于 shared row locks)
- pg_notify/:包含LISTEN/NOTIFY状态数据的子目录
- pg_repslot/:包含复制槽数据的子目录(9.1版本以后)
- pg_serial/:包含有关已提交的序列化事务(9.1版本以后)信息的子目录
- pg snapshots/:包含导出快照的子目录(9.2版本以后)。PostgreSQl的函数pg_export snapshot在此子目录中创建快照信息文件
- pg_stat/:包含统计子系统永久文件的子目录
- pg_stat_tmp/:包含统计子系统临时文件的子目录
- pg_subtrans/:包含子事物状态数据的子目录
- pg_tblspc/:表空间符号链接目录
- pg_twophase/:包含prepare事务的状态文件
- pg_wal/(Version 10 orlater):包含WAL(Write Ahead Logging)段文件的子目录。在版本10中从pg_xlog重命名而来.
- pg_xact/(Version 10 or later):包含事务提交状态数据的子目录。在版本10中从pgclog重命名而来.CLOG
- pg_xlog/(Version 9.6or earlier):包含WAL(Write Ahead Logging)段文件的子目录。在版本10中重命名为pg_
(3) 数据库有两个基础的对象一个是oid,一个是表空间
OID(0bject Identifier)是数据库对象的唯一标识符。
表空间实际上是文件系统中的一个位置链接,即一个目录,它是一个逻辑上的概念,目录是它的物理存在方式。数据库中创建的对象(表、索引、数据库对象)都保存在表空间中。postgresql初始化完成后,会有两个默认的表空间,一个是 pg_default,如果用户建表时没有指定表空间,所有新建的表都会放在pg_default 中,另一个是 pg_global,存放的是整个实例数据库所共享的系统表。
(4) base的物理布局设计
每个数据库都会在$PGDATA/base 下面生成一个子目录,都会一一对应。
(5) 表空间跟数据库关系
在 0racle 数据库中;一个表空间只属于一个数据库使用;而一个数据库可以拥有多个表空间。属于"一对多"的关系
在 PostgreSQ集群中;一个表空间可以让多个数据库使用;而一个数据库可以使用多个表空间。属于"多对多"的关系。
系统自带表空间:
表空间 pg default 是用来存储系统目录对象、用户表、用户表 index、和临时表、临时表 index、内部临时表的默认空间。对应存储目录$PADATA/base/
表空间pg_global用来存放系统字典表;对应存储目录$PADATA/global/