GBase 8a kafka transaction consumer部分参数配置调优方法

1、gcluster_kafka_consume_batch

一次读取kafka消息的条数，建议值为10~1000，根据Kafka的消息大小调整此参数，例如kafka一条消息只包含1个DML操作，就调大这个参数，设为1000，一次读取1000条消息，以提升效率。

2、gcluster_kafka_batch_commit_dml_count

一次提交的DML操作数量，可以适当调大以提高性能。但若是一个topic涉及很多个表，应当适当调小该参数，使得一次提交命中的表少一点。调参方式根据具体场景具体分析。另外在某些情况下，程序可能不会严格按照此参数执行，例如从kafka取消息、解析消息速度比单机提交数据的速度慢，程序会选择先提交，而不一定要等满足参数规定再提交。

3、gcluster_kafka_local_queue_size

存储DML操作队列的长度，建议至少设置为gcluster_kafka_batch_commit_dml_count二倍多一点。

4、gcluster_kafka_queued_data_buffer_size

设置kafka client预取缓冲区的大小，默认值是64M，适当调大可以提高效率，太小的话导致内存不足，会造成性能低下。

5、gcluster_kafka_queued_message_number

设置至少预读取的消息条数。放到缓冲区供consumer随时使用，最小值是1，最大值是10000000，默认值100000。当kafka里消息size很小时可以适当调大以获得更好的性能。gcluster_kafka_queued_message_number与gcluster_kafka_queued_data_buffer_size具有联动作用。kafka lib代码中，对于这两个参数的判断顺序是优先判断gcluster_kafka_queued_message_number，然后判断gcluster_kafka_queued_data_buffer_size，gcluster_kafka_queued_message_number优先级更高，所以有可能出现buffer已经满了，kafka lib的线程还在从kafka server取数据，导致内存问题。如果两个参数配置得当，consumer提交完成后，client已经预取到下次提交的数据，达到最佳性能。

6、gcluster_kafka_consumer_support_multi_partition

953.28版本新增的参数，用于支持多partition模式。开次此模式时，可以从包含多个partition的topic同步数据，但是需要保证多个partition中的数据不存在主键上的交集，否则会导致多次入库结果不一致，非必要不使用。