八、GP安装笔记-GPCC集群调优

一、配置文件存储位置

GPCC配置分为两部分，一个是存在master的segment上，一个存放在每台服务器的gpcc安装包中，存储在master segment节点上的gpcc配置文件主要是gpcc监控服务相关参数设置，在master节点和standby节点中存在：

$MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.conf

gpcc的web服务器相关的配置参数存储在每台服务器的gpcc安装包下的conf目录下：

$GPPERFMONHOME/conf/app.conf

GP数据库服务的配置文件存储在，通常通过gpconfig命令进行修改相关参数配置

$MASTER_DATA_DIRECTORY/postgresql.conf

二、gpperfmon.conf配置文件说明

1、gpperfmon.conf配置文件说明：

参数	说明	生产设置值
log_location	指定Command Center日志文件的目录位置。默认是$MASTER_DATA_DIRECTORY/gpperfmon/logs。	默认值
min_query_time	指定统计信息收集的最小查询运行时间（秒）。Command Center会在queries_history表中记录运行时间超过此值的所有查询。对于运行时间较短的查询，不会收集历史数据。默认为20秒。如果您知道要为所有查询收集数据，则可以将此参数设置为较低的值。但是，将最小查询运行时间设置为零，即使对于Command Center本身运行的大量查询也会收集数据，从而创建大量可能无用的数据。	设置为0，收集所有查询
min_detailed_query_time	指定统计信息收集的最小迭代器运行时间（以秒为单位）。Command Center会记录iterators_history表中运行时间超过此值的所有迭代器。对于运行时间较短的迭代器，不会收集任何数据。最小值为10秒。此参数的值必须始终等于或大于值min_query_time。设置min_detailed_query_time高于min_query_time允许您仅针对特别复杂，长时间运行的查询记录详细查询计划迭代器数据，同时仍为较短查询记录基本查询数据。鉴于迭代器数据的复杂性和大小，您可能希望根据收集的数据大小调整此参数。如果iterators_*表在不提供有用信息的情况下增长到过大，则可以提高此参数的值以记录迭代器详细信息以减少查询。	60
max_log_size	此参数不包含在gpperfmon.conf中，但可以将其添加到此文件以与Greenplum Command Center一起使用。要防止日志文件增大到过大，可以将max_log_size参数添加到gpperfmon.conf。此参数的值以字节为单位。例如：max_log_size = 10485760 使用此设置，在系统转到新日志文件之前，日志文件将增长到10MB。	未设置
partition_age	gpcc统计数据将保留的月数。默认值为0，这意味着我们不会删除任何数据。	默认值
quantum	指定所有段上的Command Center代理程序更新之间的时间（以秒为单位）。有效值为10,15,20,30和60.默认值为15秒。如果您更喜欢不太精细的性能视图，或者想要收集和分析系统指标的最小数据量，请选择更高的量。要更频繁地收集数据，请选择较低的值。	15
ignore_qexec_packet	当设置为true，gpcc将不会为gpperfmon数据库中关于queries_*的表收集：rows_out，cpu_elapsed，cpu_currpct，skew_cpu和skew_rows等指标。默认设置true，可减少gpmmon进程占用的内存量。如果需要此附加性能数据，请将此参数设置为false。	true
warning_disk_space_percentage	该值设置0到100，表示磁盘告警阈值，当磁盘使用量超过该值的时候就会产生warning日志，并发出warn告警，该值必须小于error_disk_space_percentage	80
error_disk_space_percentage	该值设置区间为0到100，表示磁盘告警阈值，当磁盘使用量超出该值的时候将会记录error日志，并发送error告警	90
disk_space_interval	限制每分钟发送error/wanrning信息的数量，最小值可设置为1，设置为0则不发送	60
max_disk_space_messages_per_interval	设置disk_space_interval中设置的值发送error\warn日志的最大值，最大值为50，最小值为1，如果未设置或者设置值超过50都将设置为最大值50	10

2、配置详情

修改gpperfmon.conf的配置如下：

quantum = 15
min_query_time = 0
min_detailed_query_time = 60
warning_disk_space_percentage = 80
error_disk_space_percentage = 90
disk_space_interval = 60
max_disk_space_messages_per_interval = 10
partition_age = 6
log_location = /data/greenplum/master/gpseg-1/gpperfmon/logs

3、同步到standby节点

scp -r gpperfmon.conf kylin-203-130:$PWD

4、修改生效

修改生效需要重启gp集群

gpstop -M fast -a
gpstart -a

三、postgresql.conf配置文件说明

1、配置项说明

https://gpcc.docs.pivotal.io/420/topics/configref-gpdb.html

配置项	说明	默认值	生产master配置	segment配置
gp_enable_gpperfmon	开启gpcc agent收集器，进行指标收集。必须在所有postgresql.conf文件（master节点和所有segment节点）中设置。	off	off
gpperfmon_port	gpcc agent收集器监听端口，可以设置不同的端口，默认端口为8888，必须在master节点和所有的segment节点上设置。	8888	8888	8888
gp_gpperfmon_send_interval	设置间隔多久gp数据库服务将查询更新结果发送到gpcc agent（以秒为单位）进行收集。	1	1	1
gp_external_enable_exec	该参数默认是启用的，也必须保证启用，允许用户创建外部表，在安装gpcc的时候会默认开启	on	on	on
gp_external_max_segs	用于控制每个查询中，允许连接到单个gpfdist上的最大segment数量，通过gpfdist可以读取segment服务器上的本地日志文件信息，导入成为外部表。即对于同一个查询session，最多允许gp_external_max_segs个segment连接到单个gpfdist server。默认值是64. Gpfdist在开始发送数据之前不需要等待所有segment都连接上来。每个segment一次只会创建一个到gpfdist的连接。第一个到gpfdist的连接会在gpfdist中创建一个session，之后属于同一个查询的连接都会加入这个session。只要session非空，gpfdist就会轮询地(round robin)通过这些连接向segment发送数据。	64	152	152
gpperfmon_log_alert_level	设置写入gpperfmon日志级别，级别越靠后，写入的日志量就越少	warning	waring	waring
shared_preload_libraries	Greenplum数据库启动时要预加载的以逗号分隔的共享库列表。工作负载管理和查询度量扩展库必须包含在此配置变量中才能使用gpcc。	$libdir/metrics_collector,$libdir/gp_wlm	$libdir/metrics_collector,$libdir/gp_wlm	$libdir/metrics_collector,$libdir/gp_wlm
gp_enable_query_metrics	启用时，启用查询度量标准收集。默认为关闭。设置此配置参数后，必须重新启动Greenplum数据库才能使更改生效。	off	on	on
gp_instrument_shmem_size	查询指标所分配的共享内存的大小。默认值是5120kb，最大值为131072kb，如果该配置参数gp_enable_query_metrics开启，gp将分配共享内存用于存储相关的指标结果。分配多少内存主要取决于并发查询的数量和每个查询的需要参与的节点数量。默认值5120kb是最多执行约250个并发查询，每个查询120个节点而设定的。如果gp_enable_query_metrics配置参数已关闭，或者插槽已耗尽，则度量标准将保留在本地内存中而不是共享内存中。	5MB	5MB	5MB

相关的配置均采用安装初始化好gpcc默认的配置，并未做任何改动

2、查看相关配置

gpconfig -s gp_enable_gpperfmon

3、修改相关配置

#c表示指定参数，-v指定segment参数的设置值，如果没有-m参数，-v会覆盖master节点。如果设置-m则表示master节点的值进行单独设置。
gpconfig -c [params] -v [value] -m [value]

4、修改生效

修改配置需要执行:gpstop -u使配置生效

gpstop -u