GBase 8a gbload_server部分动态参数使用总结

原文地址：https://www.gbase.cn/community/post/3539

gbload_server的动态参数修改后不需要重启gbload_server，只需等到一个 gbload_reload_config_info_read_interval 即可生效。以下是几个在某项目生产环境下的参数配置总结。

gbload_once_commit_need_sync_flag：
这个参数决定是否每次提交load命令后都刷新文件，0—不刷新，1—刷新，每次刷新文件可以保证数据安全，以现场的实际使用来看，该参数建议配置1，因为在配置为0的情况下，前端数据发生不是持续发生的话，可能会出现上一次数据发生的最后一个文件一直不加载的情况。配置为1后，需要观察一下，是否会对加载效率产生影响。

gbload_reload_config_info_read_interval：
读取新的配置文件内容的时间间隔，会间隔指定时间重新读取可变参数的内容，这个参数如果在调试阶段，建议设置小一点，比如60，每隔60s会读取一次配置文件，如果是调试后的稳定生产阶段，建议配置300或以上。

以下6个参数是生产临时文件的参数配置，需要根据gbload_server服务器的硬件配置综合考虑：

gbload_file_count_per_controy_file：
每个控制文件处理的数据文件个数，每次启动加载会耗时，所以每次处理更多的文件会提高效率，但这个与gbload服务器的cpu线程数，内存配置有关，不建议设置太大，100到1000即可，太小会降低文件处理效率，太大可能导致内存溢出，并且单条load过大，查看 load_result.log 时也很吃力。

gbload_loader_single_file_max_size：
每个数据文件所占的最大磁盘空间，以MB为单位，不建议超128MB。

gbload_commit_interval_time_second：
每次把数据文件放入加载队列的时间间隔，时间设置长，每个文件的记录数会增大，对于大文件处理效率会提高，但是会有加载延迟，30s到60s就行。

gbload_single_time_commit_record_line：
每个数据文件允许容纳的最大记录数量。

gbload_min_file_count_when_info_call_loader：
允许开始加载的最小数据文件个数，文件个数少会减少延迟，但是会降低效率，不建议设置太小，会频繁拉起load任务，占用过多系统资源，建议10到30。

gbload_max_wait_time_when_load_file_count_less：
当文件数量小于最小允许加载数量时,加载最大等待时间，超过这个时间，虽然文件个数没有达到加载要求也会启动加载，从实际超实用来看，这个参数决定第一次加载启动，但不决定最后一次加载启动，建议设置为10左右即可。
以上6个参数是哪个先触发就生效那个。

gbload_wait_gcluster_update_flag：
是否等待集群升级操作，该参数默认是0，在集群升级，
管理节点替换，以及其他需要暂停数据加载的场景，如处理表锁，可以临时调整这个参数到1，参数为1时，gbload可以从上游正常接收数据，但不会启动往集群的数据加载，数据会临时保存在gbload配置的data目录下，直到这个参数被重新调整到0，因此这个参数调整后，需要密切关注gbload服务器的磁盘使用情况，避免因磁盘写满丢数据。

gbload_min_start_slowdown_receive_file_count：
当数据文件的数量达到配置的最小数目，需要减慢数据接受速度，这个参数与第一个 gbload_once_commit_need_sync_flag 以及 gbload_file_count_per_controy_file 两个参数有一定关系，gbload_once_commit_need_sync_flag 设置为1的情况下，建议设置为gbload_file_count_per_controy_file 的100倍左右即可，设置太小，会在gbload_server.log中抛出wait receive的日志，在上游感知是效率下降。设置太大，且文件堆积时，每次执行完数据加载的列表刷新会占用过多资源。