PostgreSQL中的简单压缩算法

2019独角兽企业重金招聘Python工程师标准>>>

Postgres 的页面(page)大小是固定的 8k，同一行的数据必须在同一个页面内，但是 Postgres 需要支持变长的数据类型(如 varchar)，是可能超过 8k 的。解决方案是所谓的 TOAST (The Oversized-Attribute Storage Technique, 过长字段存储技术)。

TOAST 解决的思路一个是压缩，一个是页外存储。两个可以结合：页外压缩存储。页外存储就是在每个有变长字段表的 table 存储文件外再创建一个 .toast 结尾文件，过长字段存放在 .toast 文件，并将 offset 放在原 table 文件中替代。这样还能提高扫表的速度(如果此次查询不需要这个字段的话)。

Postgres 的压缩采用的是一个极简单的 lz 字典压缩算法。从解压过程来理解其原理的话非常简单：

sp= 11110000 | 0x41 | 0x42 | 0x43 | 0x44 | 0x01 | 0x00 | 0x05 | 0x00 | 0x0d | 0x00 | 0x0f | 0x00  | 0x0e  |
    ——————————————————————