GBase 8a 关于kafka端配置大消息导致8a无法创建consumer的问题解决方案

在调试rtsync工具时，发现8a kafka consumer 存在无法创建的问题，报错：ERROR 1707 (HY000): gcluster command error:  can not connect to kafka with the brokers and topic you specified. 显示无法连接上kafka集群的topic，但kafka端此topic是存在的。同时，express.log中报出Failed to ctreate rdkafka instance, error=`receive.message.max.bytes` must be >= `fetch.max.bytes` + 512.

分析该问题的原因，首先要知道kafka在配置大消息时，有这样几个参数，下面来一一解释：

message.max.bytes: kafka允许的最大消息集合批次，生产者往kafka发送消息的一批消息最大不能超过这个参数。

replica.fetch.max.bytes: 限制拉取分区中消息的大小。这个值必须要大于message.max.bytes，因为replica.fetch.max.bytes如果配置过小或者不配置，可能会导致数据不同步，备份不成功等问题。

那么根据现场问题的报错，我们能分析出在kafka配置了大消息的同时，我们8a集群作为客户端无法创建rdkafka(kafka consumer)的原因就是8a这边配置的最大接收消息大小太小了。在8a中receive.message.max.bytes体现为参数gcluster_kafka_max_message_size(从topic获取消息的最大长度)，默认值是10000000，最大值是100000000。一般情况下使用默认值即可，使用rtsync工具进行同步时建议使用最大值。同时与这个参数存在关联的还有gcluster_kafka_fetch_max_size, 要求gcluster_kafka_max_message_size要比gcluster_kafka_fetch_max_size至少大512个字节，用于协议的额外开销。

所以，遇到这个问题，只要按照遵守上述规则并调大参数即可。

另外，8a还存在一个参数gcluster_kafka_fetch_message_max_size，区别于gcluster_kafka_fetch_max_size，这个参数针对的是单条消息，最小值和默认值都是1M，实际场景下这个值是有点小的，推荐设置如下：

gcluster_kafka_max_message_size=1000000000

gcluster_kafka_fetch_max_size=1000000000-512

gcluster_kafka_fetch_message_max_size=100000000