【经验分享】PT（persistent table）表异常导致gprecoverseg全量恢复失败的探索

最新推荐文章于 2024-10-08 14:55:31 发布
最新推荐文章于 2024-10-08 14:55:31 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Greenplum 文章标签： 数据库 java python 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gp_community/article/details/114745072
版权
本文分享了一位中兴通讯的架构师在使用gp5.20时遇到的全量恢复失败问题，详细解析了由于持久化表（PT）数据不一致引发的内部错误，以及如何通过源码分析和更新PT表来解决问题。同时，讨论了PT表在Greenplum数据库中的作用和重要性。
摘要由CSDN通过智能技术生成

73fb7321-b931-460b-9e54-807a124126d8.jpg

 

了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网站

背景

最近来自中兴通讯的系统架构师、敏捷教练王爱军在工作过程中，遇到gp5.20通过 gprecoverseg -F做全量恢复失败的异常。master和primary的pg_log日志中打印internal error，然后primary crash。本文分享问题的定位过程以及涉及到相关概念，供大家学习参考。

 

一、问题现象

 

1.1 集群状态查看

 

[gpadmin@instance-eqmn04jr pg_log]$ gpstate -s

 

8214e94d-7648-4b3d-ae4f-ef3f64c1e9ed.png

图1 Mirror Down

 

1.2 全量恢复

 

[gpadmin@instance-eqmn04jr pg_log]$ gprecoverseg -F

 

5125f619-e267-43dc-963c-c81ba68685fa.png

图2 gprecoverseg失败

最低0.47元/天 解锁文章
Greenplum中文社区
关注
专栏目录
Android 11.0 手动安装Persistent app失败的解决方案
安卓兼职framework和app工程师的博客
11-03 2115
在系统产品开发中，对于一些安装app的失败问题，需要看日志 和抛出异常来判断问题所在，在最近的一些app安装失败抛出了关于Presistent app安装失败的问题，就需要从PMS安装的过程中看异常抛出的原因解决问题所在。
Android 9.0 10.0 手动安装Persistent app失败的解决方案
安卓兼职framework和app工程师的博客
08-24 4057
在Android系统App中（注意是系统App），都会添加一个persistent 属性，表明此应用是一个永久性应用，就是从系统一开机就一直运行，直到系统关机在10.0定制化开发中,手动安装一些带persistent的app时会抛出异常 导致安装失败 抛出异常is a persistent app. Persistent apps are not updateable的异常所以这要从安装流程分析问题所在主要安装处理在:PackageManagerService.java中。
GPDB gprecoverseg -F Unable to connect to database
数据人
04-27 1435
在GPDB运维过程中，有时会发生节点错误，一般采用gprecoverseg 进行节点的恢复，如果不能恢复，会尝试使用gprecoverseg -F进行全量恢复，一般在这个环节问题可以解决。但是个别情况下，会报出Unable to connect to database的错误，这个时候就需要特别处理了。 错误信息：报错信息为Unable to connect to database. Retryin
gprecoverseg命令无法恢复Greenplum集群中挂掉的Segment实例
Georgetwo的博客
12-09 1225
gprecoverseg命令无法恢复Greenplum集群中挂掉的Segment实例:Did not start the following segments due to failure while updating the port.Please update the port in postgresql.conf located in the segment's data directory
gprecoverseg 测试
shenghe_chen
06-06 971
对 gprecoverseg 命令进行了 一次实际操作测试，模拟有一个主实例 down的情况下如何进行恢复操作 1、查询当前数据库节点状态信息 dp_bidb=# select * from gp_segment_configuration order by 8,2; dbid | content | role | preferred_role | mode | status | port | hostname | address | replication_port | san_moun...
gprecoverseg代码解析
weixin_42788640的博客
02-08 991
一、全量拉取函数调用流程 gprecoverseg gprecoverseg只是一个入口，调用情况如下： # gprecoverseg from gppylib.mainUtils import simple_main from gppylib.programs.clsRecoverSegment import GpRecoverSegmentProgram if __name__ == '__main__': simple_main(GpRecoverSegmentProgram.create
【GreenPlum】使用gprecoverseg报gprecoverseg failed
狱蝶阿一的博客
03-04 2531
当GP集群有问题时，使用gprecoverseg恢复时，可能会遇到如下问题： [CRITICAL]:-gprecoverseg failed. (Reason='FATAL: no pg_hba.conf entry for host "192.168.161.129", user "gpadmin", database "template1", SSL off 20200304:18:2...
深入探索 Kubernetes：初级、中级与高级知识点
最新发布
颜淡慕潇
10-08 7815
Kubernetes（K8s）是一种流行的容器编排工具，广泛应用于现代云原生应用的管理。无论你是刚刚接触 Kubernetes还是希望深入了解其高级特性，掌握其知识体系是至关重要的。本文将详细介绍 Kubernetes 的初级、中级和高级知识点。
测试android:persistent="true"
08-04
4. **系统稳定性**：如果一个持久性应用出现问题，可能会导致整个系统的不稳定，因为它的异常运行可能会影响其他服务。 5. **安全考虑**：由于持续运行和高权限，这类应用的安全性至关重要，一旦被恶意软件利用，...
greenplum全量恢复gprecoverseg -F出现Unable to connect to database时的相关分析及解决方法
热门推荐
aabc012的博客
07-28 1万+
之前有两位朋友碰到过在对greenplum的系统构架更改后，出现全量恢复gprecoverseg -F也无法正常运行的情况。 报错信息为Unable to connect to database. Retrying 1 gprecoverseg failed. (Reason='Unable to connect to database and start transaction') exiting... 有幸拷得一份虚拟机上的全部文件，对其进行分析。 发现其实出现这个问题只需要修改pg_changetra
解决GREENPLUM某些版本gprecoverseg –r失败后镜像双坏，系统无法启动的问题
weixin_39901938的博客
01-26 2196
开始之前，我先声明一点，参考这篇文章去操作数据库，造成丢失数据，搞瘫系统的可能性非常之高，初学者以及思路不清晰者，请关闭页面，不要再继续下去，经过一通乱搞以后，真的就没人能再帮得了你了。 先说明一下故障的来由，由于系统的BUG某些版本的GREENPLUM只要执行了gprecoverseg -r，就一定会失败，而且一定会镜像双坏，无法启动。这里说明一下，这种版本的GP镜像反转时，只能重启数据库去自动修复，不可以使用gprecoverseg –r人工修复，切记。 值得庆幸的是，只要是进入到这种反转...
关于解析javax.persistence.Table报错
jquery教程
03-20 2452
今天写了个解析javax.persistence.Table的方法 Java代码:   /**       * 通过实体的anno获得Mapping的数据库表名       * @param clazz 实体类       * @return       * @throws Exception       */       public static String
Greenplum数据库故障排查及修复
DraGon_HooRay的博客
11-25 2823
gp服务正常，存在部分segment实例丢失 gp启动失败，segment实例可用数已不足一半 gprecoverseg gprecoverseg -F gprecoverseg - 已知可能造成segment丢失的原因：频繁的内存溢出。 可能存在的问题：数据目录存在目录或文件权限不足、损坏文件等。 gpstart -v 查看启动日志明细
greenplum日常维护命令
奔跑的蜗牛的博客
05-10 1717
具体内容可参考官方文档：https://cn.greenplum.org/docs/ 1. 数据库启动：gpstart 常用可选参数： -a : 直接启动，不提示终端用户输入确认 -m:只启动master 实例，主要在故障处理时使用 2. 数据库停止：gpstop： 常用可选参数：-a：直接停止，不提示终端用户输入确认 -m：只停止master 实例，与gpstart –m 对应使用 -M fast：停止数据库，中断...
Greenplum高可用-从失效segment恢复
数据源的港湾
09-11 583
本主题将指导您在一个或多个段或主机出现故障并希望恢复故障段时应采取的措施。注：增量恢复只有在将段恢复到当前主机(就地恢复)时才有可能。
【GP】Greenplum入门解析（一）
Together
07-21 7276
一、Greenplum概述 【1】Greenplum简介 Greenplum（以下简称GP）是一款开源数据仓库。基于开源的PostgreSQL改造，主要用来处理大规模数据分析任务，相比Hadoop，Greenplum更适合做大数据的存储、计算和分析引擎 GP是典型的Master/Slave架构，在GP集群中，存在2个Master节点（一个Primary节点和一个Standby）和多个Segment节点，其中每个节点上可以运行多个数据库。GP采用shared nothing架构（MPP）。是典型的Shared
Greenplum异常恢复
小海绵的博客
07-30 1224
由于在使用过程中master节点异常关闭，但是Greenplum处于运行状态，重启master后发现其中两台机器的主节点segment异常，由于之前做了mirror节点，Greenplum自动将mirror节点替换为主节点使用，要想恢复之前的数据库状态，需要一下步骤： 生成恢复的配置文件 gprecoverseg -o ./recov 可以查看文件，查看那些节点需要恢复 使用配置文件恢复 （1 gprecoverseg -i ./recov 用于指定一个配置文件，该配置文件描述了需要修复的Seg
mysql 如何通过 .frm 文件恢复表结构
07-11
要通过.frm文件恢复MySQL表的结构，可以尝试以下方法： 1. 创建一个与.frm文件相关的新表： - 将原始的.frm文件从备份或另一个MySQL实例中复制到目标服务器的MySQL数据目录中。 - 在MySQL命令行界面或客户端工具中，使用CREATE TABLE语句创建一个新表，并指定.frm文件作为表定义文件。例如： ``` CREATE TABLE `your_table_name` ( -- 列定义 ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci STATS_PERSISTENT=0 ROW_FORMAT=DYNAMIC COMMENT='Table Comment' DATA DIRECTORY='your_data_directory' INDEX DIRECTORY='your_index_directory' TABLESPACE `your_tablespace_name` /*!50100 PARTITION BY RANGE () SUBPARTITION BY HASH () SUBPARTITIONS 1 (PARTITION your_partition_name VALUES LESS THAN (MAXVALUE) ENGINE = InnoDB) */ /*!80016 SHARD_ROW_ID_BITS = 6 */ ; ``` - 替换`your_table_name`为您想要恢复的表名，并根据需要调整其他选项。 2. 执行SHOW TABLES语句验证新表是否已成功创建。例如： ``` SHOW TABLES; ``` 请注意，这种方法只能恢复表的结构，不包括数据和索引。如果您需要恢复完整的表，包括数据和索引，请确保同时拥有相应的.ibd文件，并将其放置在正确的位置。 如果拥有相关的.ibd文件，可以尝试将它们放置在正确的数据目录中，并重启MySQL服务，以使MySQL能够识别和加载这些.ibd文件。然后，您可以尝试访问表数据，或使用工具如mysqlfrm来从.ibd和.frm文件中恢复表结构和数据。 在任何情况下，建议在进行任何恢复操作之前先进行备份，并参考MySQL官方文档、社区或寻求专业支持以获取更详细和针对性的帮助。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值