根据官方给出的kafka引擎文档,做一个实践记录。
官方地址:https://clickhouse.tech/docs/zh/engines/table-engines/integrations/kafka/
1、特性介绍
clickhouse支持kafka的表双向同步,其中提供的为Kafka引擎。
其大致情况为如下情况:Kafka主题中存在对应的数据格式,Clickhouse创建一个Kafka引擎表(即相当于一个消费者),当主题有消息进入时,获取该消息,将其进行消费,然后物化视图同步插入到MergeTree表中。
该引擎还支持反向写入到Kafka中,即往Kafka引擎表中插入数据,可以同步到Kafka中(同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中)。
下面为Kafka Engine的一些配置:
Kafka SETTINGS
kafka_broker_list = 'localhost:9092',
kafka_topic_list = 'topic1,topic2',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow',
kafka_r