postgresql 数据库 运用fdw 导致查询数度太慢

最新推荐文章于 2023-12-29 15:01:28 发布
最新推荐文章于 2023-12-29 15:01:28 发布
阅读量3.2k 收藏 4
点赞数 4
分类专栏： postgresql 文章标签： 数据库 postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_z_1/article/details/114867223
版权

postgresql 数据库 运用fdw 导致查询数度太慢

这几天管理数据库发现 有几张使用fdw建的一张表由于数据量太大，导致查询速度从20秒变成1000多秒，由于不是在同一个数据库 只能用fdw进行连接，由于原表数据量太大 还是普通表

原因分析

怀疑是fdw传输的问题 由于原表数量大导致的传输慢的问题

解决方案

一创建视图加以限制
跟业务那边 讨论发现部分表不需要全部的数据，只需要最近几天的数据 ，决定在原先表所在的模式下的建立视图 ，只取最近的几天的数据

CREATE VIEW sss as
 SELECT id
.........
最低0.47元/天 解锁文章
yang_z_1
关注
专栏目录
pg_strom:PostgreSQL 的 FDW 模块使用 GPU 进行异步超并行查询执行
06-29
发展 PG-Strom开发 存储库移至
Postgresql 12：分库分表（pg_fdw方式）
高矮
07-26 6164
备注： 1、当前分库分表方式在PG 10及以下版本，写入数据需要分开逐个数据库写入，通过主表写入数据，由于PG1以下版本不支持insert 2、foreign table，所以无法路由写入分库表 PG11及以上版本支持所有数据均可通过主表写入 3、PG11以下版本创建索引时，需要每个分区单独创建，PG11及以上版本支持基于主表的一次性创建 简介 分表：通过创建分区表的形式进行分表 https://www.postgresql.org/docs/12/ddl-partitioning.html 分.
steampipe-postgres-fdw:蒸汽管的Postgres FDW
03-17
Steampipe Postgres外部数据包装器（FDW） 概述 Steampipe Postgres外部数据包装器（FDW）是PostgreSQL 12.0扩展，由Steampipe插件用于与Postgres进行接口。 与Python的相似，Steampipe FDW简化了在Go中编写用于插件的外部数据包装器的过程。 Steampipe使用Postgres外部数据包装器将来自外部系统和服务的数据显示为数据库表。 Steampipe外部数据包装器（FDW）提供了Postgres扩展，该扩展允许Postgres以标准化方式连接到外部数据。 Steampipe FDW并不直接与外部系统接口，而是依靠插件来实现API /提供商特定的代码，并通过gRPC以标准格式返回它。 由于Postgres特定的逻辑封装在FDW中，而API和服务特定的代码仅驻留在插件中，因此该方法简化了Steampipe的
【mysql】提高SQL查询效率的30种方法
TBY_HUIER的博客
09-01 408
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id f...
ODBC 查询速度慢
不习惯的记忆的专栏
02-22 972
[ODBC配置数据源]中,可以开启ODBC过程跟踪,之前为了追踪一个问题时打开过,表现就是SSMS中查询正常,但是ODBC过程中速度奇慢.
postgresql 主表分区（数据量3千万）解决查询慢速度提升
weixin_45003528的博客
12-11 870
上面替换自己表名即可，可以解决数据问题。2.创建分区表与主表一致，并建索引。6.为主表创建触发器。
记录一次诡异的数据库查询慢的调查过程
志健的博客
06-14 778
最近的一次上线突然发现系统的某些数据库查询偶尔会超过300ms, 正常的情况都只有100ms，我花了一段时间开始调查原因，这篇文章记录了整个过程。项目背景项目提供了一个支持水平扩展的功能，扩展主要是基于扩展多数据库来分散压力，我就是在这个大场景下要求新增一些数据库来环境线上的压力。线上分为南方和北方两个大机房，80%的流量都在北方机房线上流量是写多读少，写大概是读的10倍量左右本次修改是为了解决北...
PostgreSQL数据库内核分析.pdf
最新发布
05-09
PostgreSQL数据库内核分析.pdf
duckdb_fdw:DuckDB PostgreSQL外部数据包装器
05-25
DuckDB PostgreSQL外部数据包装器 这个PostgreSQL扩展是的Foreign Data Wrapper。 当前版本可与PostgreSQL 9.6、10、11、12和13一起使用。 安装 1.安装DuckDB库 您可以并构建DuckDB。 git clone https://github.com/cwida/duckdb cd duckdb make 我们需要的是 build / release / tools / sqlite3_api_wrapper / libsqlite3_api_wrapper.dylib（对于Linux是libsqlite3_api_wrapper.so，而Windows是libsqlite3_api_wrapper.dll）tools / sqlite3_api_wrapper / include / sqlite3.h 默认情况下
PostgreSQL数据库列式存储cstore_fdw插件CStoreProcessUtility函数图.eddx
10-20
PostgreSQL数据库的列式存储cstore_fdw 钩子函数CStoreProces的函数架构思维导图，详细分析请见我的博客：https://rng-songbaobao.blog.csdn.net/
PostgreSQL数据库插件fdw使用心得—mysql_fdw、oracle_fdw、postgresql_fdw
qq_28647809的博客
07-14 2642
fdw是foreign data wrapper的一个简称，叫做外部封装数据。 用命令行登陆postgresql: plsql -h ip地址 -p 端口号 -U 用户名 -d 库名 安装fdw fdw工具是pg自带扩展工具，pg10版本之后不需要再单独安装，一般分为postgresql_fdw、mysql_fdw、file_fdw、oracle_fdw等。可以将不同的异构数据源当成pg的外表。 创建库连接 postgresql_fdw 一. 创建postgres_fdw扩展（仅需第一次执行）： -
Postgresql查询表的大小
weixin_34345560的博客
02-23 250
--数据库中单个表的大小（不包含索引） select pg_size_pretty(pg_relation_size('表名')); --查出所有表（包含索引）并排序 SELECT table_schema || '.' || table_name AS table_full_name, pg_size_pretty(pg_total_relation_size('"' || tab...
提升项目数据查询速度：从pgsql数据库性能到SQL优化的实战经验分享
weixin_52983137的博客
07-01 643
在尝试优化的过程，已经从多方面进行了设置。总结出来，在遇见查询速度慢的时候，可以从几方面去分析，一是数据库本身性能层面去分析，一方面从索引方面去分析，还有就是优化查询SQL本身。
postgresql json取值为何这么慢？
2301_78287784的博客
06-20 531
把查询字段：info::json->'length' 改为info->>'length',减少类型转换导致性能的损耗。EXPLAIN ANALYSE 能够获取数据库执行 sql 语句，所经历的过程，以及耗费的时间，可以协助优化性能。字段本身是jsonb， 进行强转::jsonb 是否对性能造成影响，还是在执行预编译时就已被优化。在explain analyze时，主要分析了索引对性能的影响，那函数的具体影响如何查看呢？取jsonb中的字段有多种取法(如下)， 那他们有什么区别呢，对性能有啥影响呢？
大象时序系列6之TimescaleDB、PG、NoSQL对比(翻译整理)
PostgreSQL China
03-31 880
TimescaleDB 如何比较？ TimescaleDB 通常与普通的关系数据库（即 PostgreSQL）和 NoSQL 变体（如 InfluxDB 或 MongoDB）进行比较。虽然这些技术，尤其是 NoSQL，已经被整个数据社区所接受，但现代应用程序需要现代数据架构。 看看我们如何与常规 SQL 和 NoSQL 数据库进行比较，尤其是当 PB 级时间序列数据是应用程序成功的关键时！ 为什么在关系数据库上使用 TimescaleDB？ 与 vanilla Postg...
记一次PostgreSQL数据库超级慢故障排除
小六的昵称已被使用
02-20 7533
title: 记一次PostgreSQL数据库超级慢故障排除 categories: 数据库 tags: - PostgreSQL timezone: Asia/Shanghai date: 2019-01-06 环境 REHL6.8（128G内存、16路CPU、5T硬盘） PostgreSQL 9.6 问题描述 数据库查询任何数据时间都需要超长的时间等待 select count(*)一个看...
【数据库】为什么PostgreSQL第一次查询结果很慢，第二次就变快了
木头大左的博客
12-29 954
例如，当数据库中的数据发生变化时，查询缓存中的结果可能已经过时，这时候再次执行相同的查询，仍然会从数据库中获取最新的数据，导致查询速度变慢。例如，当数据库中的数据发生变化时，查询缓存中的结果可能已经过时，这时候再次执行相同的查询，仍然会从数据库中获取最新的数据，导致查询速度变慢。在PostgreSQL数据库中，我们经常会遇到这样的情况：第一次执行某个查询语句时，结果返回的速度非常慢，而当我们再次执行相同的查询语句时，速度却变得非常快。PostgreSQL为了提高查询性能，采用了一种名为“查询缓存”的技术。
PostgreSQL数据库查询优化技巧分享
"这篇分享主要关注PostgreSQL数据库的查询调优，涵盖了数据库的各个关键组件，包括SQL解析、重写、优化器、执行器、事务处理、存储、缓冲、磁盘、堆/索引、锁、XLog以及并行处理等。通过分析查询性能瓶颈，我们可以...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yang_z_1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值