MPP集群基本概念和搭建

1,基础知识:1.1,概述:为了支持海量数据存储和处理,高并发处理,高可用性等需求,提供高端数据仓库解决方案,DM提供了大规模并行处理MPP架构。1.2,基本概念:MPP:即大规模并行处理。EP:MPP环境内每个实际运行的实例节点称为一个执行节点(基于主备的MPP环境内备机除外)。主/从EP:MPP是对等无共享架构,对整个系统来说,每个节点作用都是一样的,用户可以连接到其中任何一个进行操作。对每个用户会话来说,执行节点具有主从之分,用户会话实际连接的那个节点称为主EP,其余的节点都称为从EP。
摘要由CSDN通过智能技术生成

1,基础知识:

1.1,概述:

为了支持海量数据存储和处理,高并发处理,高可用性等需求,提供高端数据仓库解决方案,DM提供了大规模并行处理MPP架构。

1.2,基本概念:

  1. MPP:即大规模并行处理。
  2. EP:MPP环境内每个实际运行的实例节点称为一个执行节点(基于主备的MPP环境内备机除外)。
  3. 主/从EP:MPP是对等无共享架构,对整个系统来说,每个节点作用都是一样的,用户可以连接到其中任何一个进行操作。对每个用户会话来说,执行节点具有主从之分,用户会话实际连接的那个节点称为主EP,其余的节点都称为从EP。

2,搭建

2.1,环境准备

采取机器交叉的方式配置两个主备数据库

服务器名称 IP 实例名 PORT_NUM MAL_PORT MAL_DW_PORT MAL_INST_DW_PORT GROUP
主1 192.168.14.133 GRP1_MPP_EP01 5239 5337 5253 5243 GRP1
备1 192.168.14.129 GRP1_MPP_EP11 5239 5337 5253 5243 GRP1
主2 192.168.14.129 GRP1_MPP_EP02 5240 5338 5254 5244 GRP2
备2 192.168.14.133 GRP1_MPP_EP22 5240 5338 5254 5244 GRP2

2.2,初始化实例

  • 192.168.14.133节点初始化数据库目录:/home/dmdba/dmdbms/data
1,GRP1_MPP_EP01:./dminit path=/home/dmdba/dmdbms/data db_name=EP_01 instance_name=GRP1_MPP_EP01 port_num=5239
2,GRP1_MPP_EP22:./dminit path=/home/dmdba/dmdbms/data db_name=EP_22 instance_name=GRP2_MPP_EP22 port_num=5240 
  • 192.168.14.129节点初始化数据库目录:/home/dmdba/dmdbms/data
1,GRP1_MPP_EP11:./dminit path=/home/dmdba/dmdbms/data db_name=EP_11 instance_name=GRP1_MPP_EP11 port_num=5239
2,GRP1_MPP_EP02:./dminit path=/home/dmdba/dmdbms/data db_name=EP_02 instance_name=GRP2_MPP_EP02 port_num=5240

-都以open方式启停一次。

2.3,开启归档

  • 分别修改dm.ini,使ARCH_INI=1
  • 增加新文件dmarch.ini,放在dm.ini同一目录:
    • EP_01的:
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /home/dmdba/dm_back/EP_01#本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 1024 #单位 Mb,0 表示无限制,范围 1024~4294967294M
    • EP_02的:
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /home/dmdba/dm_back/EP_02 #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 1024 #单位 Mb,0 表示无限制,范围 1024~4294967294M
    • EP_11的:
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /home/dmdba/dm_back/EP_11#本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 1024 #单位 Mb,0 表示无限制,范围 1024~4294967294M
    • EP_22的:
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /home/dmdba/dm_back/EP_22 #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 1024 #单位 Mb,0 表示无限制,范围 1024~4294967294M

2.4,备份还原:

  • EP_01:
1.	backup database '/home/dmdba/dmdbms/data/EP_01/dm.ini' backupset '/home/dmdba/dm_back/back_EP_01';
2.	scp -r /home/dmdba/dm_back/back_EP_01 root@192.1
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: MPP(Massively Parallel Processing)集群是一种高性能计算集群,旨在处理大规模数据集和复杂查询。MPP集群通常由数百个或数千个节点组成,每个节点都具有自己的处理器、内存和存储资源。这些节点通过高速网络相互连接,形成一个分布式计算环境。 MPP集群的主要特点包括: 1. 并行处理:MPP集群可以将任务分配给不同的节点,并并行处理多个查询或作业。这可以大大缩短处理时间,并提高性能和吞吐量。 2. 高可用性:由于MPP集群中的节点数量众多,因此即使出现节点故障或其他故障,整个集群也可以继续运行,保证高可用性和可靠性。 3. 可扩展性:MPP集群可以根据需要增加节点数量,以扩展计算和存储能力。这使得它们非常适合大规模数据分析和处理任务。 4. 复杂查询支持:MPP集群支持处理复杂的SQL查询,包括联合、聚合、窗口函数等。 5. 数据分片和分布式存储:MPP集群可以将数据分片存储在不同的节点上,以实现更快的查询和更高的性能。此外,MPP集群通常使用分布式存储系统,如Hadoop HDFS、Amazon S3等,来存储和管理数据。 总之,MPP集群是一种强大的计算环境,可用于处理大规模数据集和复杂查询。它们通常用于数据仓库、商业智能、大数据分析等领域。 ### 回答2: mpp集群(Massively Parallel Processing Cluster,大规模并行处理集群)是一种通过将数据和计算任务在多台计算机上并行执行来实现高性能数据处理和分析的技术。 mpp集群的特点包括: 1. 可扩展性:mpp集群由多台计算机组成,可根据需求自由扩展集群规模。通过添加更多的计算节点,可以有效地处理更大规模的数据和更复杂的计算任务。 2. 并行计算:mpp集群将大规模的数据和计算任务分解为多个小任务,并且在多台计算机上并行执行。这种并行计算能够大大加速数据处理和分析的速度,提高系统的吞吐量。 3. 数据分布和负载均衡:mpp集群将数据划分为多个分片,并将这些分片分配给不同的计算节点。这样可以在数据处理过程中实现负载均衡,确保每个计算节点的负载相对均衡,避免出现热点节点和性能瓶颈。 4. 高可用性:通过在mpp集群中使用冗余计算节点和数据备份策略,可以提供高可用性。即使其中某个计算节点或数据存储发生故障,系统仍然可以继续正常运行,不会发生数据丢失或服务中断。 5. 并行存储和访问:mpp集群通常采用分布式文件系统或分布式存储系统来支持并行存储和访问。这些系统可以将大规模的数据存储在多个计算节点上,并通过并行读取和写入操作来实现高效的数据访问。 mpp集群广泛应用于大数据分析、数据仓库、商业智能等领域,能够满足处理海量数据和复杂计算任务的需求,提供高性能和可扩展的数据处理解决方案。 ### 回答3: MPP(Massively Parallel Processing)集群是一种并行计算架构,主要用于处理大规模数据和复杂计算任务。它由多个计算节点组成,每个节点都具有独立的计算和存储资源,节点之间通过高速网络进行通信。 在MPP集群中,数据通常被分割成多个分片,并存储在各个节点上。每个节点都可以并行处理自己的分片数据,这样就能够同时执行多个任务,大大提高了计算效率。节点之间还可以相互传递数据和计算结果,实现数据的交互与共享。 MPP集群具有以下特点: 1. 可伸缩性:MPP集群的规模可以根据需求进行扩展,添加更多的节点,以处理更大规模的数据和更复杂的计算任务。 2. 高性能:由于每个节点都具有独立的计算资源,并且能够并行处理任务,MPP集群能够以高效的方式执行计算,提供较低的响应时间和更高的吞吐量。 3. 高可用性:MPP集群通常采用冗余设计,即多个节点之间可以互相备份和恢复数据,当某个节点失败时,其他节点可以接替其工作,保证系统的可靠性和持续运行。 4. 灵活性:MPP集群支持多种数据处理和分析方式,例如数据存储、数据查询、数据挖掘和机器学习等。同时,它也能够与其他大数据技术如Hadoop和Spark等进行集成,共同构建复杂的数据处理解决方案。 MPP集群在大数据领域中应用广泛,特别适用于需要高性能计算和处理大规模数据的场景,如金融风险管理、科学研究、电信分析和电子商务等。通过充分利用MPP集群的并行计算能力,可以更快速、高效地处理和分析大量的数据,帮助企业做出更明智的决策和发现更有价值的信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值