Clickhouse Engine kafka 将kafka数据同步clickhouse

13 篇文章 0 订阅 ¥99.90 ¥299.90
本文详细介绍了如何使用Clickhouse的Kafka引擎进行Kafka数据到Clickhouse的同步,包括特性介绍、实践步骤以及可能遇到的问题,如表结构变更、延迟和格式匹配。实践部分展示了创建Kafka消费者、物化视图以及数据同步测试,表明在一定数据量下同步延迟可接受。
摘要由CSDN通过智能技术生成

根据官方给出的kafka引擎文档,做一个实践记录。

官方地址:https://clickhouse.tech/docs/zh/engines/table-engines/integrations/kafka/

1、特性介绍

clickhouse支持kafka的表双向同步,其中提供的为Kafka引擎。

其大致情况为如下情况:Kafka主题中存在对应的数据格式,Clickhouse创建一个Kafka引擎表(即相当于一个消费者),当主题有消息进入时,获取该消息,将其进行消费,然后物化视图同步插入到MergeTree表中。

该引擎还支持反向写入到Kafka中,即往Kafka引擎表中插入数据,可以同步到Kafka中(同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中)。

下面为Kafka Engine的一些配置:

Kafka SETTINGS
  kafka_broker_list = 'localhost:9092',
  kafka_topic_list = 'topic1,topic2',
  kafka_group_name = 'group1',
  kafka_format = 'JSONEachRow',
  kafka_r
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值