DM MPP 环境搭建与使用

edison丷

已于 2022-07-01 10:02:09 修改

阅读量230

点赞数 1

文章标签：大数据数据库架构分布式 linux

于 2022-06-27 15:35:08 首次发布

本文链接：https://blog.csdn.net/edisionaa/article/details/125484129

版权

DM MPP 环境搭建

我们将以一个简单的两节点 MPP 为例，介绍手动配置与搭建 DM MPP 环境的步骤。

DM 提供了 DM web 版数据库管理工具，可以很方便地搭建 DM MPP。

系统规划

本例配置一个两节点 MPP 。两个节点都配置两块网卡，一块接入内部网络交换模块，一

块接入到外部交换机。两节点实例名分别为 EP01 和 EP02 ，相关的 IP 、端口等规划见下表。

表 4.1 MPP 系统规划

实例名

MAL_INST_HOST

MAL_INST_PORT

MAL_HOST

MAL 端口

MPP_SEQNO

EP01

192.168.1.11

5236

192.168.0.12 5269

EP02

192.168.1.21

5237

192.168.0.22 5270

DM MPP 各 EP 使用的 DM 服务器版本应一致，同时还应注意各 EP 所在主

机的操作系统位数、大小端模式、时区及时间设置都应一致，否则可能造

成意想不到的错误。

配置 dm.ini

分别对两个实例的 dm.ini 进行配置。

修改 EP01 的 dm.ini 的以下几个参数如下：

INSTANCE_NAME = EP01

PORT_NUM = 5236

MAL_INI = 1

MPP_INI = 1

修改 EP02 的 dm.ini 的以下几个参数如下：

INSTANCE_NAME = EP02

PORT_NUM = 5237

MAL_INI = 1

MPP_INI = 1

配置 dmmal.ini

为两个 EP 配置 dmmal.ini 如下，配置完全一样， EP 间可互相拷贝。 dmmal.ini 与

dm.ini 放在相同的目录下。

[MAL_INST1]

MAL_INST_NAME = EP01

MAL_HOST = 192.168.0.12

MAL_PORT = 5269

MAL_INST_HOST = 192.168.1.11

MAL_INST_PORT = 5236

[MAL_INST2]

MAL_INST_NAME = EP02

MAL_HOST = 192.168.0.22

MAL_PORT = 5270

MAL_INST_HOST = 192.168.1.21

MAL_INST_PORT = 5237

配置 dmmpp.ctl

dmmpp.ctl 是一个二进制文件，用户不能直接配置，需要先配置 dmmpp.ini 。

配置 dmmpp.ini 如下：

[SERVICE_NAME1]

MPP_SEQ_NO = 0

MPP_INST_NAME = EP01

[SERVICE_NAME2]

MPP_SEQ_NO = 1

MPP_INST_NAME = EP02

使用 DM 提供的工具 dmctlcvt 将 dmmpp.ini 转换成 dmmpp.ctl ， dmctlcvt 工具

在 DM 安装目录的“ bin ”子目录中。

转换生成的 dmmpp.ctl 需要放在与 dm.ini 同一个目录。假设 DM 的安装路径为 c 盘

根目录，下面的命令将 dmmpp.ini 转换为 dmmpp.ctl ，命令中的“ TYPE=2 ”参数表示

将文本文件转换成控制文件，也可以使用“ TYPE=1 ”参数进行逆向转换。

dmctlcvt

TYPE=2

SRC=c:\dmdbms\data\dameng\dmmpp.ini

DEST=c:\dmdbms\data\dameng\dmmpp.ctl

将生成的 dmmpp.ctl 拷贝至另一 EP ，保证 MPP 系统中所有 EP 的 dmmpp.ctl 完全

相同。

运行 MPP

经过前面四个步骤， DM MPP 环境已经配置完成了。分别启动 EP01 和 EP02 的 DM 数

据库实例（顺序不分先后）， DM MPP 系统即能正常运行，用户就可以登录任一 EP 进行数据

库操作了。

建立分布表

DM MPP 支持表数据的哈希分布、随机分布、复制分布、范围分布、 LIST 分布类型，

用户可根据实际情况选择合适的分布类型，具体各分布类型的特点见 3.1.3 节。

MPP 的数据分布类型和具体设置在建表时指定，语法如下，建表的其他语法分支可参见

《 DM8_SQL 语言使用手册》。

CREATE [[GLOBAL] TEMPORARY] TABLE < 表名定义 > < 表结构定义 >;

< 表结构定义 >::=< 表结构定义 1> | < 表结构定义 2>

< 表结构定义 1>::= (< 列定义 > {,< 列定义 >} [,< 表级约束定义 >{,< 表级约束定义 >}]) [ON COMMIT

<DELETE | PRESERVE> ROWS] [<PARTITION 子句 >][< 空间限制子句 >] [<STORAGE 子句 >][<

压缩子句 >] [<ROW MOVEMENT 子句 >][<DISTRIBUTE 子句 >]

< 表结构定义 2>::= [ON COMMIT <DELETE | PRESERVE> ROWS] [< 空间限制子句 >] [<STORAGE

子句 >] [< 压缩子句 >]AS < 不带 INTO 的 SELECT 语句 >[<DISTRIBUTE 子句 >];

<DISTRIBUTE 子句 >::=DISTRIBUTED[<RANDOMLY>|<FULLY>]

|DISTRIBUTED BY [<HASH>](< 列名 > {,< 列名 >})

|DISTRIBUTED BY RANGE (< 列名 > {,< 列名 >})(< 范围分布项 > {,< 范围分布项 >})

|DISTRIBUTED BY LIST (<< 列名 > {,< 列名 >}>)(<LIST 分布项 > {,<LIST 分布项 >})

< 范围分布项 >::= VALUES LESS THAN (< 表达式 >{,< 表达式 >}) ON < 实例名 >

|VALUES EQU OR LESS THAN (< 表达式 >{,< 表达式 >}) ON < 实例名 >

<LIST 分布项 >::= VALUES (< 表达式 >{,< 表达式 >}) ON < 实例名 >

下面给出几个简单的创建不同类型分布表的例子。

例 1 ：创建哈希分布表 T_HASH ，分布列为 C1 。

CREATE TABLE T_HASH(C1 INT, C2 CHAR(10))DISTRIBUTED BY HASH (C1);

例 2 ：创建随机分布表 T_RANDOM 。

22 DM 大规模并行处理 MPP

CREATE TABLE T_RANDOM(C1 INT, C2 CHAR(10))DISTRIBUTED RANDOMLY;

例 3 ：创建复制分布表 T_FULLY 。

CREATE TABLE T_FULLY(C1 INT, C2 CHAR(10))DISTRIBUTED FULLY;

例 4 ：创建范围分布表 T_RANGE ，分布列为 C1 。

CREATE TABLE T_RANGE (C1 INT, C2 CHAR(10))

DISTRIBUTED BY RANGE (C1) (VALUES EQU OR LESS THAN (100) ON EP01, VALUES LESS

THAN(MAXVALUE) ON EP02);

例 5 ：创建 LIST 分布表 T_LIST ，分布列为 C1 。

CREATE TABLE T_LIST(C1 INT, C2 CHAR(10))

DISTRIBUTED BY LIST (C1) (VALUES(3) ON EP01,VALUES(4) ON EP02);

例 6 ：创建哈希分布表的范围水平分区表。

CREATE TABLE T_HASH_RANGE_PARTITION

(C1 INT, C2 CHAR(10), C3 CHAR(10))

PARTITION BY RANGE(C1)

(

PARTITION PART_1 VALUES LESS THAN(0) ,

PARTITION PART_2 VALUES LESS THAN(10) ,

PARTITION PART_3 VALUES LESS THAN(100) ,

PARTITION PART_4 VALUES LESS THAN(MAXVALUE)

)

DISTRIBUTED BY HASH (C1);

在创建分布表时，用户应注意以下一些使用限制：

 单机模式下建的分布表和普通表一样，但是不能创建指定实例名的分布表（如范围

分布表和 LIST 分布表）；

 在 MPP 模式下创建分布表，如果未指定列则默认为 RANDOMLY( 随机 ) 分布表；

23 DM 大规模并行处理 MPP

 分布列类型不支持 BLOB 、 CLOB 、 IMAGE 、 TEXT 、 LONGVARCHAR 、 BIT 、 BINARY 、

VARBINARY 、 LONGVARBINARY 、 BFILE 、时间间隔类型、虚拟列和用户自定义类

型；

 HASH 分布、 RANGE 分布、 LIST 分布允许更新分布列，并支持包含大字段列的表

的分布列更新，但包含 INSTEAD OF 触发器的表、堆表不允许更新分布列；

 对于 FULLY （复制）分布表，只支持单表查询的更新和删除操作，并且查询项或者

条件表达式中都不能包含 ROWID 伪列表达式；

 RANGE （范围）分布表和 LIST （列表）分布表，分布列与分布列值列表必须一致，

并且指定的实例名不能重复；

 引用约束的引用列和被引用列都必需包含分布列，且分布情况完全相同；

 随机分布表不支持 UNIQUE 索引。

快速数据装载

DM MPP 特别适合于海量数据的存储和处理，因此在应用中常常面临将大量数据从某个

或某些历史数据库中装载到 MPP 系统的需求。为了满足海量数据的快速装载需求， DM 提供

了快速装载工具 dmfldr ，能够对 DM 单机版和 MPP 系统进行海量数据的快速装载。

dmfldr 支持 MPP 环境下的两种数据加载模式：客户端分发模式和本地分发模式，通过

参数 MPP_CLIENT 进行设置。使用客户端分发模式时，数据在 dmfldr 客户端进行分发然

后直接向指定 EP 发送数据；使用本地分发模式时，每个 EP 对应一个 dmfldr 和一份数据，

每个 dmfldr 只选择出对应本节点的数据并发送，不管其他节点的数据。默认使用客户端

分发模式。

停止 MPP 系统

需要停止 DM MPP 系统的运行时，只需要停止每个 EP 的 DM 实例即可，没有特别的顺

序要求。

若在 DM MPP 系统的运行过程中，某一 EP 发生故障停机，则整个 MPP 系统将处于不能

正常服务的状态。当前所有的用户会话会被系统断开，不能进行全局登录，只能进行本地登

录。因此，为了保证 MPP 系统的高可用性，我们强烈建议采用 DM MPP 与数据守护相结合

的部署方案。

MPP 下系统过程与系统视图常见用法

1. 获取会话连接的 EP 的节点序号

SELECT SF_GET_SELF_EP_SEQNO();

2. 根据 ROWID 获取本行数据来自哪个 EP

SELECT SF_GET_EP_SEQNO(ROWID);

3. 获取 EP 节点配置信息

SELECT * FROM V$MPP_CFG_ITEM WHERE SF_GET_EP_SEQNO(ROWID) =

SF_GET_SELF_EP_SEQNO();

4. 获取当前会话连接的实例名

SELECT NAME FROM V$INSTANCE WHERE SF_GET_EP_SEQNO(ROWID) =

SF_GET_SELF_EP_SEQNO();

5. 获取 MPP 系统内所有 EP 的所有会话

SELECT * FROM V$SESSIONS;

6. 获取当前连接的实例上的所有会话

SELECT * FROM V$SESSIONS WHERE SF_GET_EP_SEQNO(ROWID) = SF_GET_SELF_EP_SEQNO();

7. 获取实例 EP01 上的所有会话

SELECT * FROM V$SESSIONS WHERE SF_GET_EP_SEQNO(ROWID) = (SELECT DISTINCT EP_SEQNO

FROM V$MPP_CFG_ITEM WHERE INST_NAME ='EP01');

8. 获取表 TEST 在每个实例上的数据行数

CALL SP_GET_EP_COUNT('SYSDBA','TEST');

9. 获取所接实例上的表 TEST 的使用空间

SELECT TABLE_USED_PAGES('SYSDBA','TEST');

10. 获取每个实例上的表 TEST 使用空间

SELECT TABLE_USED_PAGES('SYSDBA','TEST'), NAME FROM V$INSTANCE;

11. 获取所有实例上表 TEST 的总使用空间

SELECT SUM(TOTAL_SIZE) FROM (SELECT TABLE_USED_PAGES('SYSDBA','TEST')

TOTAL_SIZE, NAME FROM V$INSTANCE);

配置 MPP 主备

为了提高 MPP 系统可靠性，克服由于单节点故障导致整个系统不能继续正常工作， DM

在普通的 MPP 系统基础上，引入主备守护机制，将 MPP 节点作为主库节点，增加备库作为

备份节点，必要时可切换为主库代替故障节点工作，提高系统的可靠性和可用性。

环境说明

本例配置 2 个 MPP 节点，每个节点作为主库，与其备库组成一个守护组，因此需要配

置两个守护组，取名分别为 GRP1 、 GRP2 ，主库名为 GRP1_MPP_EP01/ GRP2_MPP_EP02 ，

对应的备库实例名分别为 GRP1_MPP_EP11/GRP2_MPP_EP22 。

准备 3 台机器 A 、 B 、 C ， A 和 B 用来交叉部署实例， C 用来部署监视器。其中 A 和 B

配置两块网卡，一块接入内部网络交换模块，一块接入到外部交换机， C 接入内部网络。

机器事先都安装了 DM ，安装路径为 ’/dm’ ，执行程序保存在 ’/dm/bin’ 目录中，数据

存放路径为 ’/dm/data/EP01’, ’/dm/data/EP02’ 。

数据准备

A 机器上初始化库至目录 /dm/data/EP01 ：

./dminit path=/dm/data/EP01

B 机器上初始化库至目录 /dm/data/EP02 ：

./dminit path=/dm/data/EP02

即完成两个主数据库的初始化，然后按照数据准备中的方法分别同步两个备数据

库。

本例中采取机器交叉的方式配置两个备数据库，分别对应存放的目录为：

B 机器的 /dm/data/EP01

A 机器的 /dm/data/EP02

配置主库 GRP1_MPP_EP01

配置 dm.ini

在 A 机器上配置主库的实例名为 GRP1_MPP_EP01 ， dm.ini 参数修改如下：

# 实例名，建议使用 ― 组名 _ 守护环境 _ 序号 ‖ 的命名方式，总长度不能超过 16

INSTANCE_NAME = GRP1_MPP_EP01

PORT_NUM = 5236 #数据库实例监听端口

DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0

# 不允许手工方式修改实例模式 / 状态 /OGUID

ENABLE_OFFLINE_TS = 2

# 不允许备库 OFFLINE 表空间

MAL_INI = 1

# 打开 MAL 系统

ARCH_INI = 1

# 打开归档配置

MPP_INI = 1

# 启用 MPP 配置

RLOG_SEND_APPLY_MON

= 64 # 统计最近 64 次的日志发送信息