ClickHouse消费Kafka

最新推荐文章于 2024-09-11 04:05:22 发布

工作变成艺术

最新推荐文章于 2024-09-11 04:05:22 发布

阅读量970

点赞数

分类专栏： ClickHouse 文章标签： kafka clickhouse java

本文链接：https://blog.csdn.net/S1124654/article/details/127110897

版权

ClickHouse 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

该博客介绍了如何配置ClickHouse以消费Kafka中的JSON数据，并将数据存储到MergeTree表中。首先，创建一个Kafka引擎表来订阅特定主题，然后创建一个实体表作为数据的存储位置，最后建立一个物化视图将Kafka数据转换并存储到实体表。整个过程包括设置Kafka连接参数、定义实体表结构和创建物化视图。

摘要由CSDN通过智能技术生成

简介

ClickHouse消费Kafka

官网

Using the Kafka table engine | ClickHouse Docs

操作

第一步

这里演示的是json数据

CREATE TABLE 库名.kafka 对应表名
(
    `msg` String
)
    ENGINE = Kafka
        SETTINGS kafka_broker_list =
                'xxxx:端口', kafka_topic_list = '主题', kafka_group_name = '消费者组', kafka_format = 'JSONAsString',kafka_num_consumers = 3;

第二步

创建物化视图的实体表，它的作用就是，如果没有它，那么创建出来的物化视图的实体表是一张隐藏的表，自己创建对应的表比较好管理。

CREATE TABLE default.jielong_team_mp_message
(
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解',
    `字段` String COMMENT '注解'
)
    ENGINE = MergeTree
        PARTITION BY DATE(字段)
        ORDER BY (字段, 字段)
        SETTINGS index_granularity = 8192, storage_policy = '分区策略';

第三步

创建物化视图，并指定存储的实体表

CREATE MATERIALIZED VIEW 库名.表名
            TO default.对应第二步的实体表
            (
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64,
             `字段` UInt64
                )
AS
SELECT JSONExtract(msg, '字段', 'UInt64')                 AS 字段,
       JSONExtract(msg, '字段', 'UInt64')               AS 字段,
       JSONExtract(msg, '字段', 'UInt64')     AS 字段,
       JSONExtract(msg, '字段', 'UInt64')            AS 字段,
       JSONExtract(msg, '字段', 'UInt64')                   AS 字段,
       JSONExtract(msg, '字段', 'UInt64')       AS 字段,
       JSONExtract(msg, '字段', 'UInt64')       AS 字段,
       JSONExtract(msg, '字段', 'UInt64')        AS 字段,
       JSONExtract(msg, '字段', 'UInt64') AS 字段,
       JSONExtract(msg, '字段', 'UInt64')             AS 字段
FROM 库名.对应kafka表名;