Greenplum6.x新加节点

xcSpark

已于 2023-05-07 23:15:42 修改

阅读量377

点赞数

分类专栏： Greenplum 文章标签：服务器数据库 greenplum

于 2023-05-07 16:41:35 首次发布

本文链接：https://blog.csdn.net/u010895512/article/details/130544448

版权

Greenplum 专栏收录该内容

12 篇文章 1 订阅

订阅专栏

文章详细介绍了如何在GPDB环境中进行集群的互信配置，包括1-n和n-n的互信设置，以及在遇到问题时的解决办法。接着，文章阐述了扩展GPDB6集群的过程，包括新节点的准备、初始化新段、重新分发表以及删除扩展架构等步骤，特别提到了GP6相对于GP5的改进和不同之处。

摘要由CSDN通过智能技术生成

一. 互信配置

已经互信的集群exists_hosts

dw1
dw2
dw3

新增机器dw4,dw5
new_hosts文件中配置

dw4
dw5

配置1-n互信

ssh-copy-id dw4
ssh-copy-id dw5

若使用ssh-copy-id 失败则可以将master的公钥复制到其他新服务器的authorized_keys中

# 方式一：登录master操作
cat ~/.ssh/id_rsa.pub |ssh dw4 "cat>> ~/.ssh/authorized_keys"
cat ~/.ssh/id_rsa.pub |ssh dw5 "cat>> ~/.ssh/authorized_keys"
# 方式二：复制master的id_rsa.pub内容，登录各个新机器添加到~/.ssh/authorized_keys文件中

若报错Failed Permission Denied (publickey,gssapi-keyex,gssapi-with-mic)
则检查 .ssh目录权限和authorized_keys文件权限

chmod 700 .ssh
chmod 600 authorized_keys

配置n-n互信

# 登录 master
# 执行 gpssh-exkeys -e /tmp/exists_hosts -x /tmp/new_hosts

[gpadmin@dw1 ~]$ gpssh-exkeys -e /tmp/all_hosts -x /tmp/new_hosts
[STEP 1 of 5] create local ID and authorize on local host
  ... /home/gpadmin/.ssh/id_rsa file exists ... key generation skipped

[STEP 2 of 5] keyscan all hosts and update known_hosts file

[STEP 3 of 5] retrieving credentials from remote hosts
  ... send to dw4
  ... send to dw5
  ... send to dw2
  ... send to dw3

[STEP 4 of 5] determine common authentication file content

[STEP 5 of 5] copy authentication files to all remote hosts
  ... finished key exchange with dw4
  ... finished key exchange with dw5
  ... finished key exchange with dw2
  ... finished key exchange with dw3

[INFO] completed successfully
[gpadmin@dw1 ~]$

执行完成后，会在新服务器.ssh目录生成如下文件

authorized_keys
config
iddummy.pub
id_rsa
id_rsa.pub
known_hosts

验证

# 登录master
ssh dw4 date
ssh dw5 date

# 登录dw4
ssh dw5 date
ssh dw1 date
ssh dw2 date
ssh dw3 date

官网GPDB-wiki

expand_workflow

二. 扩展流程

场景

GPDB6 实例，在 4 个分段节点上具有 2 个分段。它只有一个数据库和下表：

T1：随机分布，
T2：哈希分布式，堆
T3：哈希分布式、AO、分区
T4：复制

现在，DBA 希望再添加两个段节点，并将其扩展到总共 8 个段。如何做以及集群中会发生什么？

扩展群集

正如官方文档中所分享的扩展集群，总共有 4 个重要阶段：

1. 准备和添加节点

在这个阶段，DBA需要安装Greenplum二进制文件，在新主机上创建gpadmin os用户，交换ssh密钥，并运行一些验证测试。在此阶段之后，新节点已准备好进行集成。

GP 6 在此阶段与 GP 5 相同。

2. 初始化新段

DBA 需要创建一个用于扩展的输入文件。可以使用以下命令以交互方式创建输入文件：

> gpexpand -D gpadmin

系统将询问主机和段计数，以下是示例输入：

# hosts to add 2
# segments to add 4

然后 DBA 将运行以下命令来初始化段并将段添加到集群中：

> gpexpand -i input_file -D db1

命令运行时，主段、旧段（段 0-3）和新段上将发生以下事件。（第 4-7 段）：

在这里插入图片描述

在上述步骤中，1 和 6-9 是 GP 6 中的新功能，其他所有内容都与 GP 5 相同。

关于上述步骤 7 的更多说明：我们在共享内存中有一个用于gp_segment_configuration的版本号。当QD访问gp_segment_configuratioin时，它将首先将其本地缓存版本号与共享内存版本进行比较。如果存在差异，它将更新版本和gp_segment_configuration的本地缓存，以便新查询和事务可以使用最新的段。

有关上述步骤 9 的更多说明：GP 5 仅将哈希分布式表放入gpexpand.status_detail因此 GP 5 仅扩展哈希分布式表。GP 6 会将随机表和复制表放到gpexpand.status_detail，并重新分发它们以在整个群集中均匀分布数据。对于分区表，在 GP 6 中，我们在此表中只有一条父分区记录。因此，给定我们的示例，我们将有以下记录：

T1
T2
T3
T4

3. 重新分发表

3.1 重新分发的排名表

此时，DBA 有机会调整扩展架构中表的排名值，gpexpand.status_detail以优先处理频繁使用的表并最大程度地降低性能影响。例如

UPDATE gpexpand.status_detail SET rank=10;
UPDATE gpexpand.status_detail SET rank=1 WHERE fq_name = 'public.T1';
UPDATE gpexpand.status_detail SET rank=2 WHERE fq_name = 'public.T2';