DM MPP集群原理与配置管理

最新推荐文章于 2024-09-24 19:35:06 发布
最新推荐文章于 2024-09-24 19:35:06 发布
阅读量579 收藏
点赞数 1
文章标签： 数据库 网络 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NinjaKilling/article/details/126932568
版权

MPP集群

概述
为了支持海量数据存储和处理、高并发处理、高可用性等需求，提供高端数据仓库解决方案，DM提供了大规模并行处理MPP架构。
基本概念MPP：Massive Parallel Processing即大规模并行处理。
EP：Executive Point。MPP 环境内每个实际运行的实例节点称为一个执行节点（基于主备的 MPP 环境内备机除外 ）。
主/从EP：MPP 是对等无共享架构，对整个系统来说，每个节点作用都是一样的，用户可以连接到其中的任何一个进行操作。对每个用户会话来说，执行节点具有主从之分。用户会话实际连接的那个节点称为主 EP，其余的节点都称为从 EP。

系统架构

在这里插入图片描述

数据分布

在这里插入图片描述

并行计划

在这里插入图片描述
在这里插入图片描述

MPP数据导入

MPP_CLIENT参数用来设置在DM MPP环境下使用dmfldr进行数据装载时的数据分发方式。
客户端分发模式下，数据在dmfldr客户端分发好后直接往指定站点发送数据。
本地分发模式下，导入时，dmfldr直接将数据发送到连接的站点，数据最终在连接的站点；导出时，dmfldr只导出连接站点的数据。

配置模式

DM MPP环境包含两种配置模式：
普通配置：当用户对系统的可靠性要求不高、系统可中断、能保证节点安全或进行简单的MPP测试时，只需使用普通配置。
基于主备的配置：用于数据冗余，保证系统的可靠性。

数据冗余

基于主备的MPP集群在运行过程中，主机对外提供服务，备机则保持主备之间的数据同步，当主机出现故障时，备机替换主机，继续对外提供服务，保证系统的不中断和可靠性。

配置普通MPP集群环境

硬件环境

部署4节点的普通MPP环境，硬件需求:
4台服务器
高速网络（千兆网以上）
在这里插入图片描述

普通MPP框架

MPP框架需要考虑分配节点IP、节点实例名、节点端口号、节点MAIL端口号、节点编号。

IP实例名端口号MAIL端口号节点编号
192.168.0.1EP01523653470
192.168.0.2EP02523653471
192.168.0.3EP03523653472
192.168.0.4EP04523653473

步骤1：初始化数据库

进入到DM安装路径的bin目录下执行初始化脚本。

IP初始化命令
192.168.0.1./dminit path=…/data instance_name=EP01 db_name=EP01
192.168.0.2./dminit path=…/data instance_name=EP02 db_name=EP02
192.168.0.3./dminit path=…/data instance_name=EP03 db_name=EP03
192.168.0.4./dminit path=…/data instance_name=EP04 db_name=EP04

步骤2：配置dm.ini参数

修改每个节点的dm.ini，开启MPP参数。

EP01:

INSTANCE_NAME = EP01
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

EP02:

INSTANCE_NAME = EP02
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

EP03:

INSTANCE_NAME = EP03
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

EP04:

INSTANCE_NAME = EP04
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

步骤3：配置dmmpp.ini参数

在dm.ini的所在目录下增加dmmpp.ini文件，配置如下：

[service_name1]
mpp_seq_no    = 0
mpp_inst_name = EP01
[service_name2]
mpp_seq_no    = 1
mpp_inst_name = EP02
[service_name3]
mpp_seq_no    = 2
mpp_inst_name = EP03
[service_name4]
mpp_seq_no    = 3
mpp_inst_name = EP04

步骤4：配置dmmpp.ctl

通过在DM安装目录下bin目录中执行dmctlcvt进行转换，将dmmpp.ini转换为dmmpp.ctl文件。

./dmctlcvt t2c ../data/EP01/dmmpp.ini
../data/EP01/dmmpp.ctl

转换成功后将dmmpp.ctl文件复制到四个节点的dm.ini所在目录下。

步骤5：配置dmmal.ini参数

在dm.ini所在目录下增加dmmal.ini文件，配置如下：
4个节点的dmmai.ini内容一样

[mal_inst1]
mal_inst_name = EP01
mal_host = 192.168.0.1
mal_port = 5347
[mal_inst2]
mal_inst_name = EP02
mal_host = 192.168.0.2
mal_port = 5347
[mal_inst3]
mal_inst_name = EP03
mal_host = 192.168.0.3
mal_port = 5347
[mal_inst4]
mal_inst_name = EP04
mal_host = 192.168.0.4
mal_port = 5347

步骤6：启动数据库服务

启动每个节点上的数据库服务，即可完成普通MPP环境搭建。

IP启动脚本
192.168.0.1./dmserver …/data/EP01/dm.ini
192.168.0.2./dmserver …/data/EP02/dm.ini
192.168.0.3./dmserver …/data/EP03/dm.ini
192.168.0.4./dmserver …/data/EP04/dm.ini

配置基于主备的MPP集群环境

硬件环境

搭建2节点基于主备的MPP集群，硬件需求：
4台服务器：两台用于主机，两台用于备机
高速网络（千兆网以上）
在这里插入图片描述

基于主备的MPP框架

EP01和EP02是两台主机；EP11是EP01的备机；EP12是EP02的备机；监控器可配置在任一机器上，本次在主机1上进行配置。

IP实例名端口号MAIL端口号节点编号节点类型
192.168.0.1//5280/监控器
192.168.0.1EP01523652470主机1
192.168.0.2EP02523652471主机2
192.168.0.3EP1152365247/备机1
192.168.0.4EP1252365247/备机2

步骤1：初始化数据库

基于主备的MPP配置，要求主备机数据严格一致，配置主备时通过初始化主机节点，然后拷贝主机数据到备机数据，保证它们的初始状态数据是一致的。

节点IP初始化脚本
192.168.0.1./dminit path=/opt/dmdbms/data instance_name=EP01 db_name=EP01
192.168.0.2./dminit path=/opt/dmdbms/data instance_name=EP02 db_name=EP02
192.168.0.3scp –r root@192.168.0.1:/opt/dmdbms/data/EP01 /opt/dmdbms/data/EP01
192.168.0.4scp –r root@192.168.0.2:/opt/dmdbms/data/EP02 /opt/dmdbms/data/EP02

步骤2：配置dm.ini参数

EP01:

INSTANCE_NAME = EP01
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI = 1
MPP_INI = 1

EP02:

INSTANCE_NAME = EP02
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI = 1
MPP_INI = 1

EP11:

INSTANCE_NAME = EP11
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI = 1
MPP_INI = 1

EP12:

INSTANCE_NAME = EP12
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI =1
MPP_INI = 1

步骤3：配置dmpp.ini参数

只需要配置两个主机节点，不需要配置备机节点。

 [service_name1]
  mpp_seq_no    = 0
  mpp_inst_name	= EP01

[service_name2]  
  mpp_seq_no    = 1
  mpp_inst_name	= EP02

步骤4：配置dmmpp.ctl

通过在DM安装目录下bin目录中执行dmctlcvt进行转换，将dmmpp.ini转换为dmmpp.ctl文件。
./dmctlcvt t2c …/data/EP01/dmmpp.ini
…/data/EP01/dmmpp.ctl
转换成功后将dmmpp.ctl文件复制到四个节点的dm.ini所在目录下。

步骤5：配置dmmal.ini参数

4个节点的dmmal.ini内容是一样的。对比普通配置，新增mpp_monitor配置。

[mal_inst1]
mal_inst_name = EP01
mal_host = 192.168.0.1
mal_port = 5347
[mal_inst2]
mal_inst_name = EP02
mal_host = 192.168.0.2
mal_port = 5347
[mal_inst3]
mal_inst_name = EP11
mal_host = 192.168.0.3
mal_port = 5347
[mal_inst4]
mal_inst_name = EP12
mal_host = 192.168.0.4
mal_port = 5347
[monitor]
mal_inst_name = monitor
mal_host = 192.168.0.1
mal_port = 5280

步骤6：配置dmarch.ini参数

EP01:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP01/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP11

EP02:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP02/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP12

EP11:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP01/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP01

EP12:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP02/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP02

步骤7：MOUNT状态启动服务

节点IP启动命令
192.168.0.1./dmserver /opt/dmdbms/data/EP01/dm.ini mount
192.168.0.2./dmserver /opt/dmdbms/data/EP02/dm.ini mount
192.168.0.3./dmserver /opt/dmdbms/data/EP01/dm.ini mount
192.168.0.4./dmserver /opt/dmdbms/data/EP02/dm.ini mount

步骤8：设置主机和备机的模式

节点IPdisql连接设置命令
192.168.0.1./disql SYSDBA/SYSDBA@192.168.0.1SQL> alter database primary;
192.168.0.2./disql SYSDBA/SYSDBA@192.168.0.2SQL> alter database primary;
192.168.0.3./disql SYSDBA/SYSDBA@192.168.0.3SQL> alter database standby;
192.168.0.4./disql SYSDBA/SYSDBA@192.168.0.4SQL> alter database standby;

步骤9：启动数据库服务

启动步骤同步骤7：MOUNT状态启动服务。

步骤10：启动dmmpp_monitor

dmmpp_monitor启动需要dmmpp.ctl和dmmal.ini两个文件，拷贝这两个文件到一个目录，如/opt/monitor；然后启动dmmpp_monitor即完成基于主备的MPP集群环境。
./dmmpp_monitor /opt/monitor

dmmpp_monitor使用

启停次序
启动服务按照先主机节点和备机节点，最后dmmpp_monitor的次序启动；
停止服务则按照先停止dmmpp_monitor，再停止备机节点和主机节点的次序。

命令：帮助help
在这里插入图片描述
命令：查看状态status
在这里插入图片描述

命令：详细信息details
在这里插入图片描述
感谢各位！
技术博客社区地址
https://eco.dameng.com

Lemonary.
关注
MPP集群基本概念和搭建
qq_39054987的博客
12-02 2524
1，基础知识： 1.1，概述： 为了支持海量数据存储和处理，高并发处理，高可用性等需求，提供高端数据仓库解决方案，DM提供了大规模并行处理MPP架构。 1.2，基本概念： MPP：即大规模并行处理。 EP：MPP环境内每个实际运行的实例节点称为一个执行节点（基于主备的MPP环境内备机除外）。 主/从EP：MPP是对等无共享架构，对整个系统来说，每个节点作用都是一样的，用户可以连接到其中任何一个进行操作。对每个用户会话来说，执行节点具有主从之分，用户会话实际连接的那个节点称为主EP，其余的节点都称为从EP。
DM MPP集群搭建
weixin_49109748的博客
08-21 443
MPP集群搭建步骤 1、 利用dminit初始化四个实例库，两台虚拟机各新建两个实例； 2、 启停一次新初始化的库(两个机器都进行该操作)； 3、 更改四个实例的dm_ini文件(例如实例为：GRP1_MPP_EP01，其他三个实例都可以根据这个来改，只是instance_name不一样，其他的参数都一样)； vi /home/dmdba/dmdbms/data/DAMENG/dm.ini 4、 对主机EP01进行备份(脱机备份); 5、 将EP01上备份的文件发送至另外一台机器上的备机(实例名为
MPP集群搭建
瞬步
08-09 305
1.原理 2.环境配置 实例名EP01 10.0.0.11：5236 172.16.1.12：5269 MPP_SEQNO：0 实例名EP02 10.0.0.21：5236 172.16.1.22：5270 MPP_SEQNO：1 注意：DM MPP 各 EP 使用的 DM 服务器版本应一致，同时还应注意各 EP 所在主机的操作系统位数、大小端模式、时区及时间设置都应一致，否则可能造成意想不到的错误 3.搭建过程 初始化实例 [dmdba@ep01 ~/dmdbms/bin]$ ./dminit path
达梦数据库dmmpp简介
最新发布
2401_86400744的博客
09-24 808
完全对等无共享架构是部署在高速网络，各节点相对独立，无共享 I/O，扩展性和性能良好，没有主控节点，不采用通过主控制节点来协调所有并行处理的主从式方法，各节点完全对等。1、没有主控制节点，用户选择一个 EP 登录，此时该 EP 就是此用户的主 EP，集群中的其余 EP 都是此用户的从 EP。哈希分布：按照列计算的哈希值进行分配分区的，当节点数量发生变化之后，各个节点的数据需要按照新的哈希映射表重新进行分发。创建表的过程中表的记录会被自动分配到各个节点上，无需干预，这与dpc是不同的，与单实例相同。
mpp集群搭建
zhdong00的博客
01-26 1046
mpp集群 MPP（DM Massively Parallel Processing）大规模并行处理，是一种无全对等不共享的数据库架构实现，数据根据用户指定的分布规则分布在不同的节点上，各节点只负责自身数据的读写。没有实际上的主从之分，每个节点既可以说是主节点也可以说是从节点。客户端可以连到任意一个节点进行操作，对于会话连接到的节点称为主节点。其它节点为从节点。 主节点接受sql请求，生成执行计划，分发给各个从节点，各从节点执行收到的指令，并回传结果给主节点，主节点汇总后，返回给客户端。 MPP最大支
达梦数据库配置mmp流程手册
qq_44821411的博客
02-20 707
配置mmp流程手册 一、数据库准备 机器 Ip 状态 A 192.168.127.128 192.168.127.132 主库 GRP1_MPP_EP01 备库 GRP2_MPP_EP22 B 192.168.127.130 192.168.127.131 主库 GRP2_MPP_EP02 备库 GRP1_MPP_EP11 C A机器初始化 ./dminit path=/home/dmdba/dmdbms/data/EP01 B机器初始化 ./dminit path=/home/dmdba/dmd
MPP集群的搭建
weixin_44219201的博客
10-06 797
搭建MPP集群以及进行动态扩容
DM7大规模并行处理MPP
08-30
- **主、从EP**：在一个DM MPP集群中，通常会有一个主EP负责协调整个查询的执行流程，而其他的EP则作为从EP参与具体的任务执行。 - **数据分布**：为了优化查询性能，数据会被按照一定的规则分散到不同的EP上。常见...
DM7大数据并行处理MPP集群详解
DM7的MPP集群系统特性包括高度可扩展性、高并发处理能力和高效的数据分布与交换机制。系统由多个节点组成，每个节点可以独立处理一部分数据，然后通过高效的通信协议进行结果的整合。这种设计使得DM7能够处理PB级别...
【DM8】配置普通MPP集群
weixin_33209489的博客
09-01 172
首先在两个节点分别安装DM8，并分别初始化实例。 1 配置dm.ini EP01 EP02 2 配置dmmal.ini EP01，EP02配置相同 3 配置dmmpp.ctl EP01，EP02配置相同 配置dmmpp.ini，然后利用dmctlcvt工具转换得到dmmpp.ctl文件。 4 启动实例 分别启动EP01，EP02实例 ...
达梦mpp相当于oracle什么,DM7 达梦数据库 大规模并行处理 MPP (1) -- 基本概念和原理...
weixin_34871076的博客
04-06 1192
1 概述达梦大规模并行处理 MPP(DM Massively Parallel Processing，缩写 DM MPP)是基于达梦数据库管理系统研发的完全对等无共享式集群组件，支持将多个 DM 数据库实例组织为一个并行计算网络，对外提供统一的数据库服务。在海量数据分析的应用场景中，经常会遇到以下问题： 大量的复杂查询操作需要较高的系统性能支持； 数据库响应能力受到硬件的束缚； 小型机虽然能...
MPP主备集群搭建
lxm13613538669的博客
07-11 492
达梦数据库MPP集群部署
DM MPP集群（两节点主备）
qq_43596835的博客
08-31 410
两节点带主备守护的 DM MPP 集群搭建实践操作的主机实例规 划，实例间通过两张独立的内网网卡连接到 MAL 链路进行通信，进行交叉主备配置
MPP主备集群
ai20110304的专栏
02-23 398
3.2 MPP主备集群 1. 前期规划 1.1 系统规划 1.2 IP与端口规划 1.3 守护进程规划 1.4 存储规划 1.5 数据库初始化参数规划 2. 安装数据库基础软件 (略) PS: DM MPP 各EP使用的DM服务器版本应一致，同时还应注意各 EP所在主机的操作系统位数、大小端模式、 时区及时间设置都应一致，否则可能造成意想不到的错误。 3. 配置环境变量 环境变量具体配置如下： su - dmdba vi .bash_profile source ~/.bash_profi
MPP集群搭建（不分主备）
Pipipipiyu的博客
08-01 196
一、搭建MPP集群的前提条件 成功安装完成达梦数据库，并搭建至少两台或以上的虚拟机并安装。 操作系统：linux 示例为一主一备，需要二台服务器，一台主，一台备 主机库IP地址为：192.168.1.147 端口号为：5236 备机库IP地址为：192.168.1.148 端口号为：5236 二、 1.初始化实例 初始化库，切换dmdba用户 cd /home/dmdba/dmdbms/bin EP01库： ./dminit PATH=/home/dmdata/EP01 ...
DM mpp集群搭建
nzq5588的博客
03-13 1613
使用 DM 提供的工具 dmctlcvt 将 dmmpp.ini 转换成 dmmpp.ctl，dmctlcvt 工具在 DM 安装目录的“bin”子目录中。转换生成的 dmmpp.ctl 需要放在与 dm.ini 同一个目录。为两个MPP配置dmmal.ini如下，配置完全一样，MPP间可互相拷贝。dmmal.ini 与dm.ini放在相同的目录下。将生成的 dmmpp.ctl 拷贝至另一 EP，保证 MPP 系统中所有 EP 的 dmmpp.ctl 完全相同。分别对两个实例的 dm.ini 进行配置。
DM8 MPP集群部署
miracle
07-12 327
DM8 MPP集群
达梦数据库DM8大规模并行处理MPP.pdf
10-14
DM8 MPP集群的搭建涉及节点配置、网络设置、数据分布策略等步骤，需要遵循官方文档指导。在使用过程中，需要注意监控系统性能，定期进行数据维护和优化，确保系统稳定运行。 总结，达梦数据库DM8的大规模并行处理...
mpp(带主备）集群搭建（两节点）
weixin_48408502的博客
08-29 377
mpp（带主备）两节点集群搭建
DM8-搭建MPP集群
weixin_42447367的博客
08-31 229
搭建MPP集群 部署2节点主备MPP 节点 IP 端口 实例 1 192.168.152.133 5238 EP_1 2 192.168.152.134 5238 EP_2 主机： 新初始化一个实例 ./dminit path=/home/dmdba/dmdbms/data page_size=16 port_num=5238 DB_NAME=EP_1 INSTANCE_NAME=EP_1 注册服务 ./dm_service_installer.sh -t dmserver -p EP_1 -dm_ini
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值