- 博客(28)
- 收藏
- 关注
转载 PostgreSQL 11 100亿 tpcb 性能测试 on ECS
背景PostgreSQL 11 发布在即,以下是tpcc与tpch测试的结果:《PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbench-tpcc...
2018-10-09 15:01:05
602
转载 citus 系列7 - topn 加速(count(*) group by order by count(*) de
背景count(*) group by order by count(*) desc limit x用来统计 topn。topn是运营的重要指标,比如排行前10的活跃用户。...
2018-10-09 14:59:01
326
转载 citus 系列6 - count(distinct xx) 加速 (use 估值插件 hll|hyperloglo
背景在分布式数据库中,计算count(distinct xxx),需要对distinct 的字段,1、去重,2、重分布去重后的数据,(这一步,如果distinct值特别多,那么就会比较耗时...
2018-10-09 14:57:42
620
转载 PostgreSQL pgsocket: Extension for Simple TCP/IP Socket Client
背景PostgreSQL 插件,向外部tpc/ip socket服务发生字节流。pgsocket is an extension for PostgreSQL server to send bytes...
2018-10-09 14:56:01
145
转载 PostgreSQL GUI pgadmin4 v3.3 支持 gis geometry 数据编辑、显示
背景pgadmin 4 v3.3 开始支持geometry 类型的展示。https://www.postgresql.org/ftp/pgadmin/pgadmin4/v3.3/windows/...
2018-10-09 14:54:50
490
转载 PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbench-tpcc by Percona-Lab
背景环境阿里云虚拟机[root@pg11-test~]#lscpuArchitecture:x86_64CPUop-mode(s):...
2018-10-09 14:50:09
654
转载 PostgreSQL 大版本升级方法之一 - 不落地并行导出导入
背景尽量快的大版本升级的方法。一、9.4以下版本,使用pg_dump并行导出,pg_restore并行导入,迁移(导出使用源版本pg_dump,导入使用目标版本pg_restore...
2018-10-09 14:48:18
237
转载 PostgreSQL 块级 snapshot (flash back) - postgrespro improvement
背景Postgrepro提供了一个snapshot fs的功能,允许用户对数据库状态打快照,并可以在将来迅速的闪回到某个过去的快照。这个功能是通过数据库page级COW来实现的,类似ZFS文件系统的快...
2018-10-09 14:46:31
280
转载 PostgreSQL cheat functions - (内存上下文\planner内容等常用函数)
背景https://github.com/MasaoFujii/pg_cheat_funcsFujiiMasaoMasaoFujiiPostgreSQLcommitter,...
2018-10-09 14:45:24
243
转载 PostgreSQL 任意字段数组合 AND\OR 条件,指定返回结果条数,构造测试数据算法举例...
背景在进行一些实际的POC测试时,需要根据业务提出的需求构造数据,比如按照任意字段数组合 AND\OR 条件,指定返回结果条数,构造测试数据。需求表记录数A表字段数B...
2018-10-09 14:41:37
220
转载 PostgreSQL sharding : citus 系列5 - worker节点网络优化
背景citus 节点间的网络需求:1、cn节点访问所有worker节点。oltp业务的访问较频繁。2、重分布数据时,worker节点间相互访问。访问频度不大,OLAP业务常见,一旦有可能数...
2018-10-09 14:39:38
557
转载 citus 系列4 - DDL 操作规范 (新增DB,TABLE,SCHEMA,UDF,OP,用户等)
背景citus是PG的一个插件,插件主要针对普通SQL(非UTILITY)加HOOK进行了一些ROUTE处理,同时使用UDF对表进行新建分区的操作。如果用户如果要执行DDL,那么CITUS无法接管,应...
2018-10-09 14:33:44
222
转载 对齐JOIN字段类型,使用数组代替字符串,降低字符串处理开销,列存降低扫描开销...
背景Greenplum通常被用作OLAP,在一些用户使用过程中,可能因为数据结构设计,SQL问题等原因导致性能不佳,虽然通过增加节点可以解决问题,但是如果能优化的话,可以节约不少硬件资源。例如...
2018-10-09 14:31:15
139
转载 Greenplum 优化CASE
背景Greenplum通常被用作OLAP,在一些用户使用过程中,可能因为数据结构设计,SQL问题等原因导致性能不佳,虽然通过增加节点可以解决问题,但是如果能优化的话,可以节约不少硬件资源。例如...
2018-10-09 14:24:14
667
转载 相似图像搜索插件 imgsmlr 性能测试与优化 3 - citus 8机128shard (4亿图像)
背景续《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》《PostgreSQL 11 相似图像搜索插件 imgsmlr ...
2018-10-09 14:21:47
406
转载 相似图像搜索插件 imgsmlr 性能测试与优化 2 - 单机分区表
背景续《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》使用分区表+dblink异步接口并行调用。(内核层面直接支持imgs...
2018-10-09 14:14:33
324
转载 PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试与优化 1 - 单机单表 (4亿图像)
背景imgsmlr是PostgreSQL的一款支持以图搜图的插件,https://github.com/postgrespro/imgsmlr这个插件新增了:1、几种图...
2018-10-09 14:12:53
461
转载 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,g
背景在搜索业务场景中,相似搜索是一个非常常见的需求。PostgreSQL有很多插件、索引可以支持海量数据的高效率搜索。以下是一些案例:《Greenplum 轨迹相似(伴随分...
2018-10-09 14:10:44
1056
转载 PostgreSQL 快速给指定表每个字段创建索引 - 2 (近乎完美)
背景PostgreSQL 支持丰富的类型、索引,统计信息。不同的应用场合,数据类型,可使用不同的索引接口(btree,hash,gin,gist,spgist,brin,bloom等)达到不同的效果。...
2018-10-09 13:49:01
1365
转载 Deepgreen(Greenplum) 多机部署测试 , TPC-H VS citus
背景多机部署deepgreen,与greenplum部署方法类似。本文仅用于测试。1 环境与之前测试citus的环境一致,9台ECS虚拟机。xxx.xxx....
2018-10-09 13:44:40
300
转载 窗口函数调用限制 与 破解之法(套用gpdb执行树,分步执行)
背景窗口函数是分析场景常用的,目前(citus 7.5)仅支持两种场景使用window函数,1、partition by 必须是分布键。2、where条件里面带分布键的等值过滤条件。...
2018-10-09 13:39:04
250
转载 关于ECS 无法使用VIP的问题 - SDN , openflow
背景给ECS虚拟机配置VIP,无法通讯,原因?HOST A[root@pg11~]#ipaddrshoweth02:eth0:<BROADCAST,MU...
2018-10-08 10:55:31
388
转载 PostgreSQL JOIN limit 优化器 成本计算 改进 - mergejoin startup cost 优化
背景PostgreSQL limit N的成本估算,是通过计算总成本A,以及估算得到的总记录数B得到:(N/B)*A大概意思就是占比的方法计算对于单表查询,这种方法通常...
2018-10-08 10:53:56
322
转载 PostgreSQL bloom filter index 扩展 for bigint
背景凡是支持HASH函数,以及相等operator的类型,都可以使用bloom filter index .扩展方法见本文。原文https://obartunov....
2018-10-08 10:49:03
180
转载 PostgreSQL pg_top pgcenter - 实时top类工具
背景PostgreSQL 的统计信息、实时会话信息、操作系统状态信息等汇总,统计,展示。https://www.postgresql.org/docs/devel/static/monitorin...
2018-10-08 10:47:48
390
转载 PostgreSQL pgmetrics - 多版本、健康监控指标采集、报告
背景pgmetrics,GO写的一款PostgreSQL 多版本、健康监控指标采集、报告开源软件。https://github.com/rapidloop/pgmetrics结合p...
2018-10-08 10:45:43
730
转载 PostgreSQL PostGIS point join polygon (by ST_xxxx) - pglz_decompress 性能优化
背景在空间数据中,通常会有轨迹、点、面的数据,假设有两张表,一张为面的表,一张为点的表,使用包含 ST_xxxx(c.geom, p.geom) 来进行JOIN(例如以面为单位,聚合统计点的数量)。...
2018-10-08 10:33:38
344
转载 PostgreSQL tuple alignment padding - 对齐规则,以及如何选择字段顺序
背景PostgreSQL tuple内部有ALIGN机制,因此字段顺序选择实际上也是有讲究的,选择不好,可能因为ALIGN导致占用空间放大。src/backend/access/common/heap...
2018-10-08 10:32:15
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人