DMMPP 并行处理集群搭建

DMMPP 并行处理集群搭建

达梦大规模并行处理 MPP（DM Massively Parallel Processing，缩写 DM MPP）是基于达梦数据库管理系统研发的完全对等无共享式集群组件，支持将多个 DM 数据库实例组织为一个并行计算网络，对外提供统一的数据库服务

架构介绍

当前主流的数据库系统架构有完全共享、共享存储、完全不共享和完全对等不共享几种，以下是这几种架构的各自优缺点

架构名称	特点
完全共享	局限于单节点服务器，价格昂贵，扩展性、性能受限
共享存储	允许多个服务器实例共享存储设备，可有效解决单实例负载问题，具有一定的扩展性，但当节点增加到一定程度以后， 由于对 I/O 资源、锁资源等的激烈竞争，反而导致性能的下降，扩展性和性能在系统规模变大时受限。 同时共享磁盘等硬件成本也十分昂贵
完全无共享	部署在高速网络，各节点相对独立，无共享 I/O，扩展性和性能良好，缺点是系统中有一个主控节点，系统规模扩充时可能成为瓶颈， 主控节点无备份，容易形成单点故障
完全对等无共享	继承了完全无共享架构的优点，不需要专用硬件，不存在主控节点，消除了潜在瓶颈以及单节点故障问题； 且因去除了主控节点，不采用通过主控制节点来协调所有并行处理的主从式方法，各节点完全对等

以下是这几种数据库系统架构的整体结构示意图

DM MPP 采用完全对等无共享架构，具体的系统架构如下所示

DM MPP 中的每一个 DM 数据库服务器实例作为一个执行节点，简称 EP。客户端可连接任意一个 EP 节点进行操作，所有 EP 对客户来说都是对等的

DM MPP 系统内每个 EP 只负责自身部分数据的读写，执行计划在所有 EP 并行执行，能充分利用各 EP 的计算能力及发挥各 EP 独立存储的优势。数据只在必要时通过 DM 的高速邮件 MAL 系统在 EP 间传递。当通信代价占整体执行代价的比例较小时，更能体现大规模并行处理的优势，随着系统规模的扩大，并行支路越多，优势越明显

环境

本试验配置一个两节点 MPP。两个节点都配置两块网卡，一块接入内部网络交换模块，一块接入到外部交换机，两节点实例名分别为 EP01 和 EP02，相关的 IP、端口等规划如下

实例名	MAL_INST_HOST	MAL_INST_PORT	MAL_HOST	MAL 端口	MPP_SEQNO
EP01	192.168.244.155	5236	192.168.244.157	5269	0
EP02	192.168.244.156	5237	192.168.244.158	5270	1

配置

在进行配置文件配置之前先在各 EP 节点上进行 DM8 的安装和初始化，对于初始化没有特殊的设定要求，只需要确保节点初始化参数一致即可

配置 dm.ini

分别对两个节点的 dm.ini 文件进行修改

~~~EP01
INSTANCE_NAME = EP01
PORT_NUM = 5236
MAL_INI = 1
MPP_INI = 1
~~~

~~~EP02
INSTANCE_NAME = EP02
PORT_NUM = 5237
MAL_INI = 1
MPP_INI = 1
~~~

配置 dmmal.ini

为两个 EP 配置 dmmal.ini 如下，配置完全一样，dmmal.ini 与 dm.ini 放在相同的目录下

[MAL_INST1]
MAL_INST_NAME = EP01
MAL_HOST = 192.168.244.157
MAL_PORT = 5269
MAL_INST_HOST = 192.168.244.155
MAL_INST_PORT = 5236

[MAL_INST2]
MAL_INST_NAME = EP02
MAL_HOST = 192.168.244.158
MAL_PORT = 5270
MAL_INST_HOST = 192.168.244.156
MAL_INST_PORT = 5237

配置 dmmpp.ini

dmmpp.ctl 是一个二进制文件，用户不能直接配置，需要先配置 dmmpp.ini，如下

[SERVICE_NAME1]
MPP_SEQ_NO = 0
MPP_INST_NAME = EP01

[SERVICE_NAME2]
MPP_SEQ_NO = 1
MPP_INST_NAME = EP02

使用 DM 提供的工具 dmctlcvt 将 dmmpp.ini 转换成 dmmpp.ctl，dmctlcvt 工具在 DM 安装目录的 bin 子目录中

转换生成的 dmmpp.ctl 需要放在与 dm.ini 同一个目录，下面的命令将 dmmpp.ini 转换为 dmmpp.ctl，命令中的TYPE=2参数表示将文本文件转换成控制文件，也可以使用TYPE=1参数进行逆向转换

./dmctlcvt TYPE=2 SRC=/home/dmdba/dmdbms/data/DAMENG/dmmpp.ini DEST=/home/dmdba/dmdbms/data/DAMENG/dmmpp.ctl

至此 DMMPP 环境已经配置完成，分别启动 EP01 和 EP02 的 DM 数据库实例（顺序不分先后），DMMPP 系统即能正常运行，用户就可以登录任一 EP 进行数据库操作

达梦在线服务平台：https://eco.dameng.com