- 博客(105)
- 收藏
- 关注
原创 【PGCCC】PostgreSQL线程池技术揭秘:从原理到实战应用
线程池是一种用于管理线程的技术,旨在减少创建和销毁线程的开销,提高系统的并发性能。简单来说,线程池通过预先创建一定数量的线程,复用这些线程来处理大量的并发请求,避免频繁的线程创建和销毁所带来的资源浪费。在数据库系统中,线程池的作用尤为重要,因为数据库通常需要处理大量的查询请求,每次创建和销毁线程不仅会消耗CPU资源,还可能导致系统性能的波动。线程池技术在PostgreSQL中的引入,为高并发环境下的性能优化提供了强有力的支持。
2024-08-28 15:00:56
859
原创 【PGCCC】在PostgreSQL中,多线程的秘密对话:架构与通信的深度揭秘
在PostgreSQL中,多线程架构虽然不像其他数据库系统那样被广泛应用,但它在特定场景下的作用仍然不可忽视。通过共享内存和信号机制,PostgreSQL实现了线程之间的高效通信,极大地提升了系统的性能和稳定性。在实际生产环境中,合理配置和优化多线程任务,可以有效提高数据库的响应速度和处理能力。
2024-08-28 14:27:40
601
原创 【PGCCC】在PostgreSQL中实现高效查询优化:如何利用遗传算法?
遗传算法的基本原理遗传算法(Genetic Algorithm, GA)是一种基于生物进化论的优化技术,其核心思想是“适者生存”。它通过模拟自然进化过程来解决复杂的优化问题。遗传算法的工作过程类似于生物界的自然选择、基因遗传和变异过程。编码:将问题的解表示为一个“基因”序列,通常是一个二进制字符串或其他形式的编码。例如,在数据库查询优化中,一个执行计划可以被编码为一个基因序列,表示不同的操作顺序和索引选择等。初始种群生成:创建一个由多个候选解(即基因序列)组成的初始种群。
2024-08-27 11:42:24
637
原创 【PGCCC】揭开PostgreSQL密码验证的神秘面纱:保护你的数据库安全
在PostgreSQL中,密码验证是确保数据库安全的重要手段。无论是MD5、SCRAM-SHA-256,还是LDAP、SSL证书验证,每种方法都有其独特的应用场景和优势。通过本文的介绍,你应当能够根据具体需求,选择合适的密码验证方式并在实际环境中进行配置。
2024-08-27 11:41:37
704
原创 【PGCCC】深入剖析PostgreSQL的行存储机制:从代码到实践
PostgreSQL采用了行存储(Row-Oriented Storage)模型,这意味着每一行数据都会按照列的顺序存储在一起。当我们执行查询时,PostgreSQL会扫描每一行并读取需要的列。行存储的优势在于,读取整行数据的效率较高,尤其是当查询涉及到多列时,能够减少磁盘I/O操作。但在只涉及部分列的查询中,行存储的性能可能会受到一定的限制。在PostgreSQL中,每一行数据都被存储为一个称为HeapTuple的结构体。
2024-08-26 10:57:43
383
原创 【PGCCC】PostgreSQL中的内存表架构与实现
在PostgreSQL中,内存表通常被称为"临时表"或"这些表的数据不会永久存储在磁盘上,而是保存在内存中,这使得它们的访问速度远远高于常规表。然而,内存表的数据在数据库重启或崩溃时会丢失,因此它们更适合短期数据存储或需要快速处理的场景。PostgreSQL中的内存表通过减少磁盘I/O操作,显著提高了数据的读写速度,特别是在需要快速处理临时数据的场景中非常有用。然而,由于内存表的数据无法持久化存储,因此在使用时需要谨慎,确保其适用于实际需求。
2024-08-23 13:39:45
868
原创 【PGCCC】PostgreSQL 死锁揭秘:如何检测与解决死锁问题的详细指南
PostgreSQL 的死锁检测机制通过锁等待图的构建和环路检测,能够有效地识别和处理死锁问题。了解其工作原理和处理策略对于优化数据库性能和提高系统稳定性至关重要。在实际应用中,及时分析和处理死锁情况,并优化数据库操作,可以减少死锁的发生,从而提升数据库的整体效率。
2024-08-23 10:48:00
1038
原创 【PGCCC】PostgreSQL 具有createdb的用户无法创建数据库的原因(之一)
每个 PostgreSQL 实例中有一个名为 max_connections 的参数,限制了允许的最大并发连接数。如果这个限制已经达到了用户上限,即使用户拥有 CREATEDB 权限,尝试创建新数据库时仍然会失败,因为 PostgreSQL 无法为新数据库分配连接。:如果需要增加连接数,可以在 postgresql.conf 文件中调整 max_connections 参数,并重启数据库实例以使更改生效。:创建数据库需要足够的磁盘空间,如果服务器磁盘空间不足,创建数据库也会失败。
2024-08-22 09:49:53
352
原创 【PGCCC】PostgreSQL案例:planning time超长问题分析#PG初级
为了分析和解决 PostgreSQL 中 planning time 超长的问题,首先要从数据库的统计信息、查询结构、连接策略、内存配置等多个方面进行检查和优化。如果常规优化方法未能有效解决问题,可以通过调整数据库参数或升级硬件配置来改善。定期监控数据库性能,并根据需要调整设置,可以显著降低 planning time,从而提高数据库的整体响应速度。#PG培训#PG考试#postgresql培训#postgresql考试#postgresql认证。
2024-08-21 15:23:32
499
原创 【PGCCC】Postgres 中的数据加密指南PCA
根据业务需求和安全要求,可以选择适合的加密方法或组合。传输层加密是基础,确保数据在传输过程中不被截获;列级加密适用于敏感数据的精细化保护;而文件系统级别的加密则适合全盘保护。如果有更多问题或需要深入探讨,可以继续沟通。#PCP#PCA#postgresql培训#postgresql考试#postgresql认证。
2024-08-20 10:08:58
268
原创 【PGCCC】使用 Docker 在 Windows 中部署 PostgreSQL 数据库PCA
PostgreSQL 是一个功能强大且特性丰富的对象-关系型数据库管理系统(ORDBMS)。它源自于加州大学伯克利分校开发的 POSTGRES 项目,拥有高度自由开源的特性。PostgreSQL 支持大多数 SQL 标准,并提供了复杂查询、外键、触发器、视图、事务完整性以及多版本并发控制等现代数据库特性。此外,PostgreSQL 的高度可扩展性使其能够支持多种数据类型、函数、操作符以及索引方法。无论是在事务处理还是数据完整性检查方面,PostgreSQL 都表现出色。
2024-08-19 09:54:24
961
原创 【PGCCC】pg_bestmatch.rs:使用 BM25 提升您的 PostgreSQL 文本查询#PCA
BM25(最佳匹配 25)是信息检索中使用的概率排名函数,用于评估文档与查询的匹配程度。它根据词频 (TF) 和逆文档频率 (IDF) 计算相关性分数,并通过文档长度规范化来平衡这些分数。该公式可确保在文档中频繁出现的术语 (TF) 和在语料库中罕见的术语 (IDF) 具有适当的权重,从而提高搜索的准确性和相关性。BM25 在众多RAG 基准测试任务中已被证明优于基于密集向量的检索方法。
2024-08-16 11:07:01
340
原创 【PGCCC】5秒上手,小而精悍的PostgreSQL安全评估工具#PCA
数据安全是个老生常谈的话题,而数据库作为数据的基础底座,是黑客眼中的"圣杯",在企业中通常都处于核心位置,更加需要建立完善的安全机制。加之数据库和操作系统、硬件、网络等息息相关,所处环境非常复杂,安全隐患非常之多。这么多的安全隐患逐个巡检费时费力,那有没有一种快捷的方式进行评估检查呢?Sure,让我们有请主角登场——pgdsat:PostgreSQL Database Security Assessment Tool,安全审查工具。
2024-08-15 11:10:06
475
原创 【PGCCC】使用 Postgres 递归 CTE 进行图形检索
您是否知道可以将 Postgres 用作某些用例的图形数据库?假设您有如下图表:现在我们已经存储了图形,让我们看看如何从 Postgres 中检索连通分量。
2024-08-14 14:31:59
370
原创 PostgreSQL培训考试- PCA(初级)第122营报名中
PCA开班计划【第122营】2024年8月19日 星期一 20:00开营直播2024年8月24日 星期六 20:00答疑直播2024年8月25日 星期日 17:30在线考试PCA 课程8大核心技能掌握PostgreSQL数据库3种经典的安装方式及PGSQL客户端的使用技能;掌握PostgreSQL数据库参数配置、访问控制及常见的国产数据库故障排查技能;掌握PostgreSQL数据库用户、角色权限管理;掌握PostgreSQL数据库的SQL语法、数据表、分区表、视图、锁及事务等操作
2024-08-13 12:11:22
171
原创 【PGCCC】中国PostgreSQL培训认证——特别篇#postgresql培训
后来,来到了华为公司,GAUSSDB也是PG数据库一个二次开发的产品,底层仍是pg数据库,工作中,由于工作岗位限制,不能更深入的学习pg,自己学,又有些力不从心,后来,经朋友介绍,了解到PGCCC,PGCCC是工信部组织并认可的一家专业PG培训机构:有很多年的培训经验,而且在PG认证这块,也很有说服力,所以,开始在PGCCC学习。总之,学习PCP让我收获颇多,让我们一起学习吧,现在,国产数据库正是快速发展时期,很多国产数据库,就是基于PG二次开发,学好PG,自能够以不变,应万变,顺势而为,适应时代,
2024-08-08 11:19:22
564
原创 信创数据库沙龙(深圳站 | 开启报名)
是一个致力于推动数据库技术创新和发展的高端交流平台,旨在增强国内数据库产业的自主可控性和高质量发展。这个平台汇集了学术界和产业界的顶尖专家、学者以及技术爱好者,通过专题演讲、案例分享和技术研讨等丰富多样的活动形式,深入探讨数据库技术的最新应用和发展趋势。
2024-08-06 09:31:41
198
原创 【PGCCC】PostgreSQL 14 小版本分析,有那个版本不建议使用#PG中级
避免使用 14.0 版本:作为首个发布版本,可能存在较多未发现的问题和漏洞,不建议在生产环境中使用。尽量使用最新的小版本:最新的小版本通常包含所有已知问题的修复和最新的安全补丁,是最稳定和安全的选择。通过查阅 PostgreSQL 官方发布公告和社区反馈,可以获取每个版本的详细信息,帮助你选择最适合使用的版本。#PG培训#PG考试#postgresql培训#postgresql考试#postgresql认证。
2024-08-02 15:57:20
713
原创 【PGCCC】pg_show_plans:显示所有正在运行的语句的查询计划
PostgreSQL 扩展可显示所有当前正在运行的 SQL 语句的查询计划。查询计划可以以多种格式显示,例如JSON或YAML。此扩展在共享内存中创建哈希表。哈希表不可调整大小,因此一旦填满,就无法添加新计划。
2024-08-01 16:33:25
801
原创 【PGCCC】PostgreSQL 保存点
在事务的概念中,有一个较小的单元允许增量持久性,范围限定为事务,称为“保存点”。请记住,保存点是一种机制,用于在事务中为事务级数据的状态创建“可恢复位置”。创建保存点时,事务中的数据状态将在创建时“就在”保存。当使用同一名称创建多个保存点时(例如三次),也可以根据保存点的数量释放每个保存点的次数。在上面的示例中,创建了一个保存点,然后释放了一个保存点,不会影响数据的状态。当回滚到保存点时,稍后在事务中创建的保存点不再是“已知的”。恢复到保存点后,查询数据将显示其在创建保存点时的状态。
2024-07-29 13:02:11
942
原创 在 PostgreSQL 中加快索引创建速度# PG初级
到目前为止,索引是每个通用关系数据库提供的性能相关最多的功能。没有索引,就没有高效的搜索操作,没有唯一约束,也没有主键。因此,在没有索引的情况下,在合理数量的数据上实现良好的性能是完全不可能的。
2024-07-26 14:41:26
923
原创 通知:PostgreSQL证书领取(PCA114)# PG 证书
考生可以登录工业和信息化部教育与考试中心官方网站,通过身份证号和证书上网编码,在工信部技术技能人才数据库查询。(证书上网编码为纸质证书上,有照片那一页最下方的证书号码)。PGCCC工作人员,已按照考生报名时填写的证书快递地址,于2024年07月23日通过京东快递寄出,请注意查收。在PGCCC完成培训、并考试合格、并通过工业和信息化部教育与考试中心审核的学员。PCA7天训练营第114营、证书已由工业和信息化部教育与考试中心进行制作。三、证书发放方式:线下快递(京东快递)一、发放时间:2024年07月23日。
2024-07-24 11:30:09
148
原创 信创数据库沙龙(南京站 | 开启报名)
是一个致力于推动数据库技术创新和发展的高端交流平台,旨在增强国内数据库产业的自主可控性和高质量发展。这个平台汇集了学术界和产业界的顶尖专家、学者以及技术爱好者,通过专题演讲、案例分享和技术研讨等丰富多样的活动形式,深入探讨数据库技术的最新应用和发展趋势。
2024-07-19 10:17:13
229
原创 PGCCC|【PostgreSQL】拿下PostgreSQL中级认证PCP# PG 证书
非常激动,经过半年的辛苦付出,终于拿下了PostgreSQL中级认证PCP,这里分享一下自己的体会。
2024-07-18 10:01:23
402
原创 PGCCC|【PostgreSQL】PG考证对工作上有什么好处# PG证书
持有 PostgreSQL 认证证书,可以在求职时增加个人竞争力,尤其是在数据库管理、数据库开发和数据库架构设计等岗位上更具优势。总的来说,获取 PostgreSQL 认证不仅可以提升个人专业水平和职业竞争力,还可以为你的职业发展带来长期的好处。:通过认证学习,掌握最佳实践和优化技巧,可以帮助你在实际工作中提高数据库管理和开发的效率,减少故障和停机时间。:为了保持认证资格,通常需要持续学习和参加培训,这有助于你不断更新自己的知识和技能,跟上技术发展的步伐。
2024-07-17 10:47:13
244
原创 PGCCC|【PostgreSQL】PCM认证考试大纲#postgresql 认证
PostgreSQL Certified Master (PCM)是PostgreSQL的极高级别,是对数据库从业人员的技术、知识和操作技能的极高级别的认可。PCM是解决极困难的技术难题和极复杂的系统故障的极佳PostgreSQL专家人选,也是IT行业衡量IT专家和经理人的极高专业程度及经验的基准。全球PCM人员凤毛麟角,PostgreSQL高端人才相当奇缺,有2年PostgreSQL经验的工程师,其薪酬已经达到Oracle工作8年的工程师的薪酬。需经历下面的过程:1)必须获得PCP考试。
2024-07-16 09:49:23
448
原创 PGCCC|【PostgreSQL】PCP认证考试大纲#postgresql 认证
PCP目前在市场上非常紧缺,除了具备夯实的理论基础以外,要有很强的动手能力,获得“PCP(中心)“的学员,将能够进入企业的生产系统进行运维工作。
2024-07-15 10:07:19
670
原创 PGCCC|【PostgreSQL】PCA+PCP+PCM等IT类认证申报个税退税指南
小编特将PostgreSQL证书申报个税退税流程,编辑成文,供大家申报参考哦~
2024-07-12 09:58:26
629
原创 PGCCC|【PostgreSQL】PCA认证考试大纲#postgresql认证
1.PostgreSQL历史2.PostgreSQL在中国的发展3.PostgreSQL安装和创建数据库。
2024-07-11 10:16:48
475
原创 关于《中国PostgreSQL考试认证体系》通知
PostgreSQL Certified Master (PCM认证大师)是PostgreSQL认证的最高级别,是对数据库从业人员的技术、知识和操作技能的最高级别的认可。PCP认证专家目前在市场上非常紧缺,除了具备夯实的理论基础以外,要有很强的动手能力,获得“PCP认证专家“的学员,将能够进入企业的生产系统进行运维工作。PCM认证大师是解决最困难的技术难题和最复杂的系统故障的最佳PostgreSQL专家人选,也是IT行业衡量IT专家和经理人的最高专业程度及经验的基准。考试分为笔试和上机实验2部分。
2024-07-10 10:58:16
595
原创 开班通知 | PostgreSQL培训考试-PCA第118营#postgresql培训认证
考试科目:PCA认证专员(PostgreSQL Certified Associate)证书内页认准公章:工业和信息化部教育与考试中心!证书封面请认准:证书类型、发证单位全称!报名时间: 2024年7月9日(周二)开课时间:2024年7月15日(周一)考试时间:2024年7月21日(周日)授课模式: 线上7天训练营。
2024-07-09 10:36:04
313
原创 使用 pgbadger 自动填充准备好的语句占位符#PG培训
当某些应用程序使用扩展查询协议/准备好的语句来查询 Postgres(出于性能原因,您通常应该这样做)并由于某种原因获得查询错误或只是超过“慢查询日志”阈值(log_min_duration_statement配置参数)时,您将无法在查询日志中获得完整的可执行语句!当参数数量太大(10+)或需要处理许多查询/执行时,我查看了自制的参数匹配/填充 Python 脚本的位置,并希望它能够适用于特定的日志配置……所以,最后,在最近的一个幸运的日子,我因为其他原因再次浏览了所有这些标志…
2024-07-08 10:23:06
243
原创 介绍 pg_later:受 Snowflake 启发的 Postgres 异步查询#postgresql认证
您在执行过程中离开,但回来后发现,由于笔记本电脑关机,该工作在几个小时前就被中断了。通常,人们可能在一个会话中执行 VACUUM,然后使用另一个会话通过 检查 VACUUM 作业的状态pg_stat_progress_vacuum。您可以简单地引用查询提交时提供的唯一作业 ID 并检索结果集,或者直接查询表。然后,此机制会异步处理查询,确保不会出现不必要的等待时间或延迟。pg_later 类似,您可以将查询发送到您的 Postgres 数据库,而不必等待结果,您的程序可以根据您的方便返回和检索结果。
2024-07-05 10:23:04
832
原创 两个令人兴奋的 PostgreSQL 特性可改善 NULL 处理#PG认证
我遇到的一个常见用例是,一个表有多个外键,但只需要填充一个。例如,假设我们有一个notifications表来表示我们发出的通知(例如电子邮件、短信等)。这些通知可能会被触发并与我们系统中的特定实体相关,例如订单、用户、公司等。我们想添加外键来表示此通知的用途,但我们只想填充其中一个。不过,有一对 PostgreSQL 函数可以让我们编写更好的约束检查,称为num_nulls/num_nonnulls。(为了简单起见,示例使用数字 id 列,但我通常更喜欢更复杂的 id,例如ULID。
2024-07-04 10:21:22
432
原创 使用预加载库优化 PostgreSQL 函数#postgresql认证
我们看到第二次调用比第一次调用快得多,因为在第一次调用期间库被加载和初始化。数据库重启后,第一次调用可能是一个重大的性能问题。考虑一下:重启后缓存是冷的,库尚未加载,并且必须建立连接 - 这可能会导致一系列相当严重的问题,而且这些问题都同时发生。解决这个问题的一种方法是利用 PostgreSQL 中一个相当老的功能:session_preload_library 可以确保第一次使用连接时库已经存在。第一次调用比以前快得多。但是,我们已经减少了第一次调用的大量开销,这在重新启动、集群故障等情况下非常有用。
2024-07-03 09:44:51
261
1
原创 解密 PostgreSQL 加密:初学者指南#postgresql认证
在这篇博客中,我们将介绍在 PostgreSQL 数据库中加密和解密数据的不同方法。具有一些 Linux 和 PostgreSQL 经验是必要的,而加密经验则不是,但最好有。这篇博客是使用在 Ubuntu 23.04 上运行的 PostgreSQL 16 编写的。首先,我将介绍加密的一些动机及其对数据安全的重要性,然后介绍 PostgreSQL 提供的用于实现加密的部分功能。
2024-07-02 10:29:32
1212
原创 《信创数据库沙龙上海站:共话发展,智启未来》
例如,2023 年 9 月,工信部发布《关于加快推进信创产业高质量发展的指导意见》,提出要加强信创产业生态建设,提升产业创新能力。大家各抒己见,有的从技术层面探讨性能优化,有的分析市场需求的推动作用,有的研究政策环境的助力。整个讨论环节充满智慧的交锋和思维的碰撞,为国产数据库发展提供了多元思路。赵振平讲述了使用国产数据库的经历。此次信创数据库沙龙上海站的成功举办,为数据库技术的创新与发展提供了一个高端的交流平台,促进了学术界和产业界的深度融合与合作,相信将有力推动我国数据库产业的自主可控和高质量发展。
2024-07-01 14:10:53
514
原创 在 PostgreSQL 中强制执行连接顺序#postgresql认证
这里的重要观察是什么?问题是:即使使用如上所示的显式连接,PostgreSQL 也会隐式连接这些表并决定最佳连接顺序。让我们考虑一个连接“a join b join c”:即使我们编写一个 SQL 说连接“a to b”,优化器仍可能决定投票支持“c join a join b”,以防它保证相同的结果。通常,只更改单个查询的变量并保留 postgresql.conf 中的默认值(与所有其他操作一样)也是有益的。如果规划时间是一个问题,我们可以强制 PostgreSQL 使用我们希望它使用的连接顺序。
2024-07-01 11:03:21
400
原创 pg_rman:备份和恢复管理工具#postgresql培训
pg_rman 是 PostgreSQL 的在线备份和恢复工具。pg_rman 项目的目标是提供一种与 pg_dump 一样简单的在线备份和 PITR 方法。此外,它还为每个数据库集群维护一个备份目录。用户只需一个命令即可维护包括存档日志在内的旧备份。#PG培训#PG考试#postgresql考试#postgresql认证。
2024-06-28 10:06:57
605
原创 信创数据库沙龙(上海站 | 报名中)
是一个致力于推动数据库技术创新和发展的高端交流平台,旨在增强国内数据库产业的自主可控性和高质量发展。这个平台汇集了学术界和产业界的顶尖专家、学者以及技术爱好者,通过专题演讲、案例分享和技术研讨等丰富多样的活动形式,深入探讨数据库技术的最新应用和发展趋势。报名链接: 信创数据库沙龙(上海站 |线下|报名中) 预约报名-活动-活动行 (huodongxing.com)
2024-06-27 14:39:28
187
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人