Greenplum数据库优化实践:数据入库性能优化

调整greenplum并发数

greenplum数据库的并发数,需要根据服务器硬件情况(如:cpu、内存等)进行调整,以使数据库性能达到最优。

greenplum数据中涉及到并发数的参数,在postgresql.conf文件中,具体如下:

  • 参数1:max_connections - 最大连接数 。变更的话,master和segment都要修改,且segment中该值需要是master的3-5倍。
  • 参数2:max_prepared_transactions - 最大预备事务数。该参数和max_connections相关,对于该配置项修改segment应该设置和master一样的值,同时该值也应该和max_connections的值保持一致,这样能够保证性能均衡。

示例配置如下:
修改master,在$MASTER_DATA_DIRECTORY/postgresql.conf中:

max_connections = 1000
max_prepared_transactions = 1000


修改segment,在$SEGMENT_DATA_DIRECTORY/postgresql.conf中:

max_connections = 3000
max_prepared_transactions = 1000

注意:如果配置了standby master,其配置也要和master配置保持一致。

我这里使用gpconfig进行修改,该工具会将配置项的值同步到所有节点上,操作步骤如下:
1. 在master节点上分别执行如下命令:

[gpadmin@greenplum-master ~]$ gpconfig -c max_connections -v 3000 -m 1000
[gpadmin@greenplum-master ~]$
[gpadmin@greenplum-master ~]$
[gpadmin@greenplum-master ~]$ gpconfig -c max_prepared_transactions -v 1000 -m 1000

   参数说明:-c表示需修改的配置项,-v 表示修改所有segment上该配置项的值,-m表示修改master上该配置项的值。
2. 使修改立即生效,执行如下命令:

[gpadmin@greenplum-master ~]$
[gpadmin@greenplum-master ~]$ gpstop -u
[gpadmin@greenplum-master ~]$ 

   若执行命令后,配置还是没有生效,需要重启数据库使之生效,重启命令如下:

[gpadmin@greenplum-master ~]$
[gpadmin@greenplum-master ~]$ gpstop -r -M immediate
[gpadmin@greenplum-master ~]$ 

注意:以上操作命令,均在master节点上操作。

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Greenplum 之前是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司。目前 Greenplum 已经归属 Pivotal。 Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库,最初是基于 PostgreSQL,现在已经添加了大量数据库方面的创新。Greenplum 提供 PD 级别数据量的强大和快速分析能力,特别是面向大数据方面的分析能力,支持大数据的超高性能分析查询。 GreenPlum 主要特性: 大规模并行处理架构 高性能加载,使用 MPP 技术,提供 Petabyte 级别数据量的加载性能 大数据工作流查询优化 多态数据存储和执行 基于 Apache MADLib 的高级机器学习功能 Greenplum 采用 Apache 协议开源之后,加上之前的 HAWQ,PostgreSQL 以及 PostGIS,完全可以构建一体化的 PostgreSQL 企业数据架构。 Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。当前使用的 OTLP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。 标签:Greenplum

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值