【debug】postgres数据存储错乱

已于 2022-08-18 15:23:24 修改
阅读量220 收藏
点赞数
文章标签： python
于 2022-08-04 19:53:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46870583/article/details/126164738
版权
博客讨论了在使用Postgres时遇到的时序数据存储异常问题，表现为新插入的数据错误地显示在了过去的时间点。解决方案包括重建表和检查函数调用中的数据拷贝操作。经过排查，可能是由于函数内部的浅拷贝导致数据篡改，修正后问题得到解决。
摘要由CSDN通过智能技术生成

【debug】
keywords：postgres，时序数据，数据存储错乱

症状表现：在这里插入图片描述

后面插入的数据会同步出现在约10分钟前的时刻，在数据库中插入两条数据（一条当前时刻，一条同样的数据，但是时间戳在约10分钟前）。

解决方法

重新建立一个table，新存储的数据就没问题了，图拉出来如下：
在这里插入图片描述
那个table被执行过哪些操作变成这样的我还没搞清楚

solution2

是在函数调用中没有用深拷贝，导致数据在函数中被修改，数据被颠倒，所以插数据库的时间戳错误。

凭轩听雨199407
关注
乱序插入导致索引膨胀
PostgreSQL China
08-03 233
作者：阎书利 在对索引进行重建的时候，发现索引比原来更小。 针对这个现象，进行了如下测试： 1.数据库版本为PostgreSQL12.1 [postgres@ysla ~]$ postgres --version postgres (PostgreSQL) 12.1 2.先建表t1_ysl和索引ind_l，之后按乱序插入数值 postgres=# create table t1_ysl(id int); CREATE TABLE postgres=# create index ind_l on t1_ys
postgreSQL/kingbase limit分页查询，结果乱序
thewindkee的博客
06-04 2151
postgres/kingbase limit分页查询，结果乱序
【SQL】PostgreSQL分页插入数据重复不一致问题
qq_42454367的博客
05-30 1028
1.应用场景 在数据库跨库插入数据时，因数据量过大，需分页插入数据，例如Oracle 中需插入六十万条PostgreSQL数据，在插入数据过程中，发现插入数据与查询出来的数据不一致，在PostgreSQL中查出来的数据无重复数据，但在Oracle 有重复数据，PostgreSQL已用row_number()保留一条。 2.解决方案 在使用row_number() over(partition by id order by id) as row_id中，需先进行row_id=1的去重，再在sql语句最后使用o
ruoyi数据源修改为PostgreSQL分页错误
我的博客
09-18 887
注释掉方言MySQL
PostgreSQL修改表后会出现顺序被打乱的问题
qq_44862029的博客
06-27 6998
原因是postgreSql在表被修改后，会自动把修改的数据放到最后一条可以用order by
postgres数据库数据探查
07-20
本资源使用python进行编写，解压后在pycharm中进行使用，该探查数据库适用于postgres数据库，运行结束后以.xlsx格式进行保存，探查的内容有：数据库名称、数据表名称、数据表注释、排序、字段名称、字段注释、字段...
tx_postgres:Postgres数据处理
04-05
在IT行业中，数据库管理是至关重要的，而PostgreSQL（通常简称为Postgres）是一种功能强大的开源关系型数据库管理系统，被广泛用于存储、管理和检索大量结构化数据。在Python编程环境中，与Postgres交互通常需要使用...
postgres开启DEBUG模式
04-09
提供在Windows和Linux下如如何配置postgres的debug
Datax实现增量同步数据到Postgres
06-14
标题 "Datax实现增量同步数据到Postgres" 涉及到的是使用开源数据同步工具 Datax 进行数据迁移的场景，特别是针对从某个源数据库到PostgreSQL数据库的增量同步。Datax 是阿里巴巴开发的一款高效、稳定且强大的数据...
多数据源元数据存储表（postgres数据库可用）
12-13
《在Sping Cloud（Spring Boot）中基于AbstractRoutingDataSource 实现多数据源动态切换》多数据源元数据存储表，在postgres数据库可直接运行，如果是别的数据库请自行修改sql语句
多表关联查询，值错乱的问题
qq_33398459的博客
08-06 492
是因为字段顺序不一致导致的 ，改成同样顺序的就好了
PGSQL 错行，上下行，前后行计算
xcagy-国际性的文档记录中心
08-25 883
错两行 select lag(name,-2,'乱七八糟的空替换字符串') over(order by id) as las,* from sgdd 错行更新当前字段的值 update sgdd set name=z.las from(select lag(name,-2,'乱七八糟的空替换字符串') over(order by id) as las,* from sgdd) z where z.id=sgdd.id 这个语句之宝贵啊 我搜了好久才回忆起来 ...
PG库分页查询数据丢失问题解决--线上bug
maligebilaowang的博客
02-06 1296
order by 的 sort 字段不使用索引（一般情况下，Sorted 字段也不使用索引），如果使用了索引，则会进行索引排序。原因主要是sql分页的时候没有加排序字段，然后pg就使用了默认排序字段group_id，而group_id字段是相同值，如果order by的列有相同的值时， 会随机选取这些行，具体根据执行计划有所不同。关系型数据库优化器在使用 order by limit 的时候，做了上面的优化，导致排序字段没有使用索引，使用堆排序。如果排序包含限制语句，则使用堆排序来优化排序过程。
Postgres统计信息的配置和校准
snowyar的专栏
10-10 569
pg_class中统计有每个表和索引中含有的总记录数量——reltuples字段，以及每个表和索引对象在磁盘中占用的数据块数量——relpages字段。(5 rows)relkind表示对象类型，r表示表，i表示索引。出于效率考虑，reltuples和relpages字段并不会实时更新，会有一定的延迟。VACUUM（包括auto acuum后台任务）和ANALYZE操作可以更新表的统计信息。
PostgreSQL常用命令&常见错误
热门推荐
sunny05296的博客
09-08 1万+
PostgreSQL常用操作命令 创建数据库新用户 CREATE USER test WITH PASSWORD '1q2w3e'; 注意：语句要以分号结尾，密码要用单引号括起来。 创建用户数据库 CREATE DATABASE testdb01 OWNER test; 将数据库的所有权限赋予用户 GRANT ALL PRIVILEGES ON DATABASE testdb01 TO test; 修改数据库的owner为test用户(如果创建时未指定owner、也可以通过alter命令指定） al
PostgreSQL根据关联表更新另一张表数据
yuxiangmitu的博客
07-01 8166
介绍关联表、子查询两种查询方式。 注意点：1.SET后的待更新字段不要加表别名（如t1），会识别成列名，报（column "表别名" of relation "待更新表名" does not exist）错误。2.子查询形式字段要一一对应，顺序不能乱。......
POSTGRESQL 表调整字段顺序
ant98002的博客
12-05 6938
在MySQL数据库里，在添加字段时可以添加到表的任意位置， 那么在POSTGRESQL里我们是否可以实现呢？ 答案是肯定可以的。 PG的语法里并没有类似AFTER, BEFORE的子句。 总结： 第一种方法失败，甚至能导致数据库自动重启。 第二种方法可行，但如果数据量较大，业务停止的时间就会加长。 哪果数据量较小，可以考虑第二种方法。但如果数据量大，停机就没有办法接受了， 可...
copy语法 postgre_postgresql copy命令介绍
weixin_30863465的博客
01-17 866
COPY命令可以快速的导入数据到postgresql数据库中，文件格式类似TXT、CVS之类。适合批量导入数据，速度比较快。注意COPY只能用于表，不能用于视图。COPY命令里面的文件必须是由服务器直接读或写的文件，而不是由客户端应用读写。因此，它们必须位于数据库服务器上或者可以为数据库服务器所访问，而不是由客户端做这些事情。它们必须是PostgresqlSQL用户(服务器运行的用户ID)可以访问...
postgres 数据存储格式
最新发布
09-04
PostgreSQL是一种强大的开源关系型数据库管理系统，它支持复杂的数据存储格式。其数据存储采用表格形式，每个表格由行（记录）和列（字段）组成。以下是PostgreSQL数据存储的一些关键特点： 1. **列式存储**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值