DM MPP集群原理与配置管理

最新推荐文章于 2023-10-20 10:19:45 发布
最新推荐文章于 2023-10-20 10:19:45 发布
阅读量489 收藏
点赞数 1
文章标签： 数据库 网络 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NinjaKilling/article/details/126932568
版权

MPP集群

概述
为了支持海量数据存储和处理、高并发处理、高可用性等需求，提供高端数据仓库解决方案，DM提供了大规模并行处理MPP架构。
基本概念MPP：Massive Parallel Processing即大规模并行处理。
EP：Executive Point。MPP 环境内每个实际运行的实例节点称为一个执行节点（基于主备的 MPP 环境内备机除外 ）。
主/从EP：MPP 是对等无共享架构，对整个系统来说，每个节点作用都是一样的，用户可以连接到其中的任何一个进行操作。对每个用户会话来说，执行节点具有主从之分。用户会话实际连接的那个节点称为主 EP，其余的节点都称为从 EP。

系统架构

在这里插入图片描述

数据分布

在这里插入图片描述

并行计划

在这里插入图片描述
在这里插入图片描述

MPP数据导入

MPP_CLIENT参数用来设置在DM MPP环境下使用dmfldr进行数据装载时的数据分发方式。
客户端分发模式下，数据在dmfldr客户端分发好后直接往指定站点发送数据。
本地分发模式下，导入时，dmfldr直接将数据发送到连接的站点，数据最终在连接的站点；导出时，dmfldr只导出连接站点的数据。

配置模式

DM MPP环境包含两种配置模式：
普通配置：当用户对系统的可靠性要求不高、系统可中断、能保证节点安全或进行简单的MPP测试时，只需使用普通配置。
基于主备的配置：用于数据冗余，保证系统的可靠性。

数据冗余

基于主备的MPP集群在运行过程中，主机对外提供服务，备机则保持主备之间的数据同步，当主机出现故障时，备机替换主机，继续对外提供服务，保证系统的不中断和可靠性。

配置普通MPP集群环境

硬件环境

部署4节点的普通MPP环境，硬件需求:
4台服务器
高速网络（千兆网以上）
在这里插入图片描述

普通MPP框架

MPP框架需要考虑分配节点IP、节点实例名、节点端口号、节点MAIL端口号、节点编号。

IP实例名端口号MAIL端口号节点编号
192.168.0.1EP01523653470
192.168.0.2EP02523653471
192.168.0.3EP03523653472
192.168.0.4EP04523653473

步骤1：初始化数据库

进入到DM安装路径的bin目录下执行初始化脚本。

IP初始化命令
192.168.0.1./dminit path=…/data instance_name=EP01 db_name=EP01
192.168.0.2./dminit path=…/data instance_name=EP02 db_name=EP02
192.168.0.3./dminit path=…/data instance_name=EP03 db_name=EP03
192.168.0.4./dminit path=…/data instance_name=EP04 db_name=EP04

步骤2：配置dm.ini参数

修改每个节点的dm.ini，开启MPP参数。

EP01:

INSTANCE_NAME = EP01
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

EP02:

INSTANCE_NAME = EP02
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

EP03:

INSTANCE_NAME = EP03
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

EP04:

INSTANCE_NAME = EP04
PORT_NUM = 5236
MAIL_INI = 1
MPP_INI = 1

步骤3：配置dmmpp.ini参数

在dm.ini的所在目录下增加dmmpp.ini文件，配置如下：

[service_name1]
mpp_seq_no    = 0
mpp_inst_name = EP01
[service_name2]
mpp_seq_no    = 1
mpp_inst_name = EP02
[service_name3]
mpp_seq_no    = 2
mpp_inst_name = EP03
[service_name4]
mpp_seq_no    = 3
mpp_inst_name = EP04

步骤4：配置dmmpp.ctl

通过在DM安装目录下bin目录中执行dmctlcvt进行转换，将dmmpp.ini转换为dmmpp.ctl文件。

./dmctlcvt t2c ../data/EP01/dmmpp.ini
../data/EP01/dmmpp.ctl

转换成功后将dmmpp.ctl文件复制到四个节点的dm.ini所在目录下。

步骤5：配置dmmal.ini参数

在dm.ini所在目录下增加dmmal.ini文件，配置如下：
4个节点的dmmai.ini内容一样

[mal_inst1]
mal_inst_name = EP01
mal_host = 192.168.0.1
mal_port = 5347
[mal_inst2]
mal_inst_name = EP02
mal_host = 192.168.0.2
mal_port = 5347
[mal_inst3]
mal_inst_name = EP03
mal_host = 192.168.0.3
mal_port = 5347
[mal_inst4]
mal_inst_name = EP04
mal_host = 192.168.0.4
mal_port = 5347

步骤6：启动数据库服务

启动每个节点上的数据库服务，即可完成普通MPP环境搭建。

IP启动脚本
192.168.0.1./dmserver …/data/EP01/dm.ini
192.168.0.2./dmserver …/data/EP02/dm.ini
192.168.0.3./dmserver …/data/EP03/dm.ini
192.168.0.4./dmserver …/data/EP04/dm.ini

配置基于主备的MPP集群环境

硬件环境

搭建2节点基于主备的MPP集群，硬件需求：
4台服务器：两台用于主机，两台用于备机
高速网络（千兆网以上）
在这里插入图片描述

基于主备的MPP框架

EP01和EP02是两台主机；EP11是EP01的备机；EP12是EP02的备机；监控器可配置在任一机器上，本次在主机1上进行配置。

IP实例名端口号MAIL端口号节点编号节点类型
192.168.0.1//5280/监控器
192.168.0.1EP01523652470主机1
192.168.0.2EP02523652471主机2
192.168.0.3EP1152365247/备机1
192.168.0.4EP1252365247/备机2

步骤1：初始化数据库

基于主备的MPP配置，要求主备机数据严格一致，配置主备时通过初始化主机节点，然后拷贝主机数据到备机数据，保证它们的初始状态数据是一致的。

节点IP初始化脚本
192.168.0.1./dminit path=/opt/dmdbms/data instance_name=EP01 db_name=EP01
192.168.0.2./dminit path=/opt/dmdbms/data instance_name=EP02 db_name=EP02
192.168.0.3scp –r root@192.168.0.1:/opt/dmdbms/data/EP01 /opt/dmdbms/data/EP01
192.168.0.4scp –r root@192.168.0.2:/opt/dmdbms/data/EP02 /opt/dmdbms/data/EP02

步骤2：配置dm.ini参数

EP01:

INSTANCE_NAME = EP01
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI = 1
MPP_INI = 1

EP02:

INSTANCE_NAME = EP02
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI = 1
MPP_INI = 1

EP11:

INSTANCE_NAME = EP11
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI = 1
MPP_INI = 1

EP12:

INSTANCE_NAME = EP12
PORT_NUM = 5236
MAIL_INI = 1
ARCH_INI =1
MPP_INI = 1

步骤3：配置dmpp.ini参数

只需要配置两个主机节点，不需要配置备机节点。

 [service_name1]
  mpp_seq_no    = 0
  mpp_inst_name	= EP01

[service_name2]  
  mpp_seq_no    = 1
  mpp_inst_name	= EP02

步骤4：配置dmmpp.ctl

通过在DM安装目录下bin目录中执行dmctlcvt进行转换，将dmmpp.ini转换为dmmpp.ctl文件。
./dmctlcvt t2c …/data/EP01/dmmpp.ini
…/data/EP01/dmmpp.ctl
转换成功后将dmmpp.ctl文件复制到四个节点的dm.ini所在目录下。

步骤5：配置dmmal.ini参数

4个节点的dmmal.ini内容是一样的。对比普通配置，新增mpp_monitor配置。

[mal_inst1]
mal_inst_name = EP01
mal_host = 192.168.0.1
mal_port = 5347
[mal_inst2]
mal_inst_name = EP02
mal_host = 192.168.0.2
mal_port = 5347
[mal_inst3]
mal_inst_name = EP11
mal_host = 192.168.0.3
mal_port = 5347
[mal_inst4]
mal_inst_name = EP12
mal_host = 192.168.0.4
mal_port = 5347
[monitor]
mal_inst_name = monitor
mal_host = 192.168.0.1
mal_port = 5280

步骤6：配置dmarch.ini参数

EP01:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP01/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP11

EP02:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP02/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP12

EP11:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP01/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP01

EP12:

[ARCHIVE_LOCAL1]
ARCH_TYPE  = LOCAL 
ARCH_DEST  = /opt/dmdbms/data/EP02/arch
ARCH_FILE_SIZE	= 128 
ARCH_SPACE_LIMIT	= 0	
[ARCHIVE_MPP1]
ARCH_TYPE  = MARCH 
ARCH_DEST  = EP02

步骤7：MOUNT状态启动服务

节点IP启动命令
192.168.0.1./dmserver /opt/dmdbms/data/EP01/dm.ini mount
192.168.0.2./dmserver /opt/dmdbms/data/EP02/dm.ini mount
192.168.0.3./dmserver /opt/dmdbms/data/EP01/dm.ini mount
192.168.0.4./dmserver /opt/dmdbms/data/EP02/dm.ini mount

步骤8：设置主机和备机的模式

节点IPdisql连接设置命令
192.168.0.1./disql SYSDBA/SYSDBA@192.168.0.1SQL> alter database primary;
192.168.0.2./disql SYSDBA/SYSDBA@192.168.0.2SQL> alter database primary;
192.168.0.3./disql SYSDBA/SYSDBA@192.168.0.3SQL> alter database standby;
192.168.0.4./disql SYSDBA/SYSDBA@192.168.0.4SQL> alter database standby;

步骤9：启动数据库服务

启动步骤同步骤7：MOUNT状态启动服务。

步骤10：启动dmmpp_monitor

dmmpp_monitor启动需要dmmpp.ctl和dmmal.ini两个文件，拷贝这两个文件到一个目录，如/opt/monitor；然后启动dmmpp_monitor即完成基于主备的MPP集群环境。
./dmmpp_monitor /opt/monitor

dmmpp_monitor使用

启停次序
启动服务按照先主机节点和备机节点，最后dmmpp_monitor的次序启动；
停止服务则按照先停止dmmpp_monitor，再停止备机节点和主机节点的次序。

命令：帮助help
在这里插入图片描述
命令：查看状态status
在这里插入图片描述

命令：详细信息details
在这里插入图片描述
感谢各位！
技术博客社区地址
https://eco.dameng.com

Lemonary.
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MPP集群搭建步骤.docx
10-25
dm8 达梦8 mpp集群搭建测试，适合学习达梦达梦数据库人群
MPP集群基本概念和搭建
qq_39054987的博客
12-02 2300
1，基础知识： 1.1，概述： 为了支持海量数据存储和处理，高并发处理，高可用性等需求，提供高端数据仓库解决方案，DM提供了大规模并行处理MPP架构。 1.2，基本概念： MPP：即大规模并行处理。 EP：MPP环境内每个实际运行的实例节点称为一个执行节点（基于主备的MPP环境内备机除外）。 主/从EP：MPP是对等无共享架构，对整个系统来说，每个节点作用都是一样的，用户可以连接到其中任何一个进行操作。对每个用户会话来说，执行节点具有主从之分，用户会话实际连接的那个节点称为主EP，其余的节点都称为从EP。
达梦数据库-MPP集群和共享存储集群DSC
fangyu_7362的博客
06-22 1105
完全共享: 单点服务 共享磁盘: 多个实例同时访问数据, 节点数增大则对系统I/O 锁资源等产生竞争, 节点数增大性能反而可能下降 完全不共享: 系统中存在一个主控节点, 如果主控节点异常则无法提供服务 完全对等共享: 不存在主控节点完全对等无共享存储集群, 支持多个DM数据库实例组成一个并行计算网络 MPP 原理 MPP 特性 MPP 数据分布 哈希分布 根据表中的一个字段或多个字段对行进行哈希计算, 计算出来的哈希值和哈希映射表将改行数据分布到映射的节点上 哈希分布节点之间的数据是否均和, 取决于哈
DMMPP 并行处理集群搭建
最新发布
weixin_47469872的博客
10-20 100
当前主流的数据库系统架构有完全共享、共享存储、完全不共享和完全对等不共享几种，以下是这几种架构的各自优缺点架构名称特点完全共享局限于单节点服务器，价格昂贵，扩展性、性能受限共享存储允许多个服务器实例共享存储设备，可有效解决单实例负载问题，具有一定的扩展性，但当节点增加到一定程度以后， 由于对 I/O 资源、锁资源等的激烈竞争，反而导致性能的下降，扩展性和性能在系统规模变大时受限。同时共享磁盘等硬件成本也十分昂贵完全无共享。
MPP基础原理
qq_37432174的博客
07-15 2179
最近忙于工作，有一段时间没更新自己的博客了，也就意味着囤积了一波需要梳理总结并记录的知识点，但可以保证的是所有都是零星的知识点，不会涉及工作内容。MPP (Massively Parallel Processing)，即大规模并行处理。
南大通用GBase 8a集群管理培训资料
09-18
1-GBase 8a MPP Cluster 产品介绍.pdf 2-GBase 8a MPP Cluster 安装部署.pdf 3-GBase 8a MPP Cluster 日常... 8-GBase 8a MPP Cluster 集群管理-节点替换.pdf GBase 8a MPP Cluster 日常维护数据迁移sql操作练习.pdf
DM7大规模并行处理MPP
08-30
DM7大规模并行处理MPP
Project 2007 项目管理模板 MPP格式 41个打包.zip
04-26
Project 2007 项目管理模板 MPP　41套项目管理project模板，涉及产品营销，开发，上市，办公，工程等方方面面的项目计划流程项目管理表
Project项目管理-工程.mpp
02-17
Project项目管理-工程.mpp
mpp(带主备）集群搭建（两节点）
weixin_48408502的博客
08-29 336
mpp（带主备）两节点集群搭建
第二季4：MPP模块的初始化（step1和step2）
主要记录嵌入式学习与开发过程。
06-16 616
MPP模块的初始化包括以下步骤。我们看一下函数开头定义的几个重要参数的含义。 （1）PAYLOAD_TYPE_E，表示传输的图像格式。 （2）PIC_SIZE_E，表示图像分辨率。 （3）VB_CONF_S，描述“视频缓冲池”的结构体。 （4）SAMPLE_VI_CONFIG_S （5）VPSS_GRP_ATTR_S （6）VPSS_CHN_ATTR_S （7）VPSS_CHN_MODE_S （8）SAMPLE_RC_E （9）SIZE_S.........
DM8MPP大规模并行集群部署
demoMAN01的博客
09-30 311
一、前言 达梦大规模并行处理集群MPP是由一系列完全对等无共享式集群组件构成，支持多个DM数据库实例组织成一个并行网络，从而对外提供统一的数据库服务。 二、MPP集群原理 三、MPP集群搭建部署 3.1准备工作 服务器硬件需求 按实际业务需求，选择合适的服务器，准备 2 台服务器，服务器参数建议如下： 硬件 要求 物理内存 >=16 GB 交换区 Swa...
MPP数据库实现master节点负载均衡功能
qq_50348488的博客
03-29 159
搭建完成MPP集群中测试分布式数据库是否满足负载均衡的要求。非集群节点客户端使用虚拟的lvs提供的ip 连接MPP数据库，lvs负责负载均衡与转发sql请求， keepalived负责装发的lvs的高可用与提供lvs服务。
4节点MPP主备集群部署、管理及备份还原
weixin_38256546的博客
11-17 461
快速搭建达梦MPP集群
DM大规模并行处理MPP
lilingfeng1的博客
06-02 318
DM大规模并行处理MPP
MPP集群的搭建
weixin_44219201的博客
10-06 534
搭建MPP集群以及进行动态扩容
DM数据库主备集群部署
qq_42587430的博客
06-21 683
DM数据库主备模式搭建
DM达梦数据库MPP集群搭建（带主备）
qq_44112838的博客
08-24 1000
DM8达梦数据库MPP带主备集群搭建
能讲解一下mpp集群吗
09-14
### 回答1： MPP（Massively Parallel Processing）集群是一种高性能计算集群，旨在处理大规模数据集和复杂查询。MPP集群通常由数百个或数千个节点组成，每个节点都具有自己的处理器、内存和存储资源。这些节点通过高速网络相互连接，形成一个分布式计算环境。 MPP集群的主要特点包括： 1. 并行处理：MPP集群可以将任务分配给不同的节点，并并行处理多个查询或作业。这可以大大缩短处理时间，并提高性能和吞吐量。 2. 高可用性：由于MPP集群中的节点数量众多，因此即使出现节点故障或其他故障，整个集群也可以继续运行，保证高可用性和可靠性。 3. 可扩展性：MPP集群可以根据需要增加节点数量，以扩展计算和存储能力。这使得它们非常适合大规模数据分析和处理任务。 4. 复杂查询支持：MPP集群支持处理复杂的SQL查询，包括联合、聚合、窗口函数等。 5. 数据分片和分布式存储：MPP集群可以将数据分片存储在不同的节点上，以实现更快的查询和更高的性能。此外，MPP集群通常使用分布式存储系统，如Hadoop HDFS、Amazon S3等，来存储和管理数据。 总之，MPP集群是一种强大的计算环境，可用于处理大规模数据集和复杂查询。它们通常用于数据仓库、商业智能、大数据分析等领域。 ### 回答2： mpp集群（Massively Parallel Processing Cluster，大规模并行处理集群）是一种通过将数据和计算任务在多台计算机上并行执行来实现高性能数据处理和分析的技术。 mpp集群的特点包括： 1. 可扩展性：mpp集群由多台计算机组成，可根据需求自由扩展集群规模。通过添加更多的计算节点，可以有效地处理更大规模的数据和更复杂的计算任务。 2. 并行计算：mpp集群将大规模的数据和计算任务分解为多个小任务，并且在多台计算机上并行执行。这种并行计算能够大大加速数据处理和分析的速度，提高系统的吞吐量。 3. 数据分布和负载均衡：mpp集群将数据划分为多个分片，并将这些分片分配给不同的计算节点。这样可以在数据处理过程中实现负载均衡，确保每个计算节点的负载相对均衡，避免出现热点节点和性能瓶颈。 4. 高可用性：通过在mpp集群中使用冗余计算节点和数据备份策略，可以提供高可用性。即使其中某个计算节点或数据存储发生故障，系统仍然可以继续正常运行，不会发生数据丢失或服务中断。 5. 并行存储和访问：mpp集群通常采用分布式文件系统或分布式存储系统来支持并行存储和访问。这些系统可以将大规模的数据存储在多个计算节点上，并通过并行读取和写入操作来实现高效的数据访问。 mpp集群广泛应用于大数据分析、数据仓库、商业智能等领域，能够满足处理海量数据和复杂计算任务的需求，提供高性能和可扩展的数据处理解决方案。 ### 回答3： MPP（Massively Parallel Processing）集群是一种并行计算架构，主要用于处理大规模数据和复杂计算任务。它由多个计算节点组成，每个节点都具有独立的计算和存储资源，节点之间通过高速网络进行通信。 在MPP集群中，数据通常被分割成多个分片，并存储在各个节点上。每个节点都可以并行处理自己的分片数据，这样就能够同时执行多个任务，大大提高了计算效率。节点之间还可以相互传递数据和计算结果，实现数据的交互与共享。 MPP集群具有以下特点： 1. 可伸缩性：MPP集群的规模可以根据需求进行扩展，添加更多的节点，以处理更大规模的数据和更复杂的计算任务。 2. 高性能：由于每个节点都具有独立的计算资源，并且能够并行处理任务，MPP集群能够以高效的方式执行计算，提供较低的响应时间和更高的吞吐量。 3. 高可用性：MPP集群通常采用冗余设计，即多个节点之间可以互相备份和恢复数据，当某个节点失败时，其他节点可以接替其工作，保证系统的可靠性和持续运行。 4. 灵活性：MPP集群支持多种数据处理和分析方式，例如数据存储、数据查询、数据挖掘和机器学习等。同时，它也能够与其他大数据技术如Hadoop和Spark等进行集成，共同构建复杂的数据处理解决方案。 MPP集群在大数据领域中应用广泛，特别适用于需要高性能计算和处理大规模数据的场景，如金融风险管理、科学研究、电信分析和电子商务等。通过充分利用MPP集群的并行计算能力，可以更快速、高效地处理和分析大量的数据，帮助企业做出更明智的决策和发现更有价值的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值