kafka azure_教程：从Kafka到Azure Data Explorer的数据提取

最新推荐文章于 2024-04-24 16:22:35 发布
最新推荐文章于 2024-04-24 16:22:35 发布
阅读量431 收藏 2
点赞数
文章标签： python 大数据 人工智能 机器学习 java
原文链接：https://itnext.io/tutorial-data-ingestion-from-kafka-to-azure-data-explorer-d1886e24f054
版权

kafka azure

This blog will cover data ingestion from Kafka to Azure Data Explorer (Kusto) using Kafka Connect.

该博客将介绍使用Kafka Connect从Kafka到Azure Data Explorer (Kusto)的数据提取。

Azure Data Explorer is a fast and scalable data exploration service that lets you collect, store, and analyze large volumes of data from any diverse sources, such as websites, applications, IoT devices, and more. Kafka Connect platform allows you to stream data between Apache Kafka and external systems in a scalable and reliable manner. The Kafka Connect Sink connector for Azure Data Explorer allows you to move data in Kafka topics to Azure Data Explorer tables which you can later query and analyze.

Azure数据资源管理器是一种快速且可扩展的数据探索服务，使您可以从任何不同来源(如网站，应用程序，IoT设备等)收集，存储和分析大量数据。 Kafka Connect平台允许您以可扩展且可靠的方式在Apache Kafka和外部系统之间流式传输数据。 用于Azure数据资源管理器的Kafka Connect Sink连接器允许您将Kafka主题中的数据移动到Azure数据资源管理器表中，以便以后查询和分析。

Here is the GitHub repo for this blog — https://github.com/abhirockzz/kafka-kusto-ingestion-tutorial

这是此博客的GitHub存储库-https: //github.com/abhirockzz/kafka-kusto-ingestion-tutorial

The goal is to get started quickly, so we will keep things simple and Docker-ize everything! This includes Kafka, Zookeeper, Kafka Connect worker and the event generator application — defined in docker-compose.yaml

我们的目标是快速入门，因此我们将使事情变得简单，并使Docker大小化！ 这包括Kafka，Zookeeper，Kafka Connect工作程序和事件生成器应用程序-在docker-compose.yaml中定义

Over the course of this tutorial, you will:

在本教程中，您将：

  • Get an overview of the individual components

    概述各个组件
  • Configure and setup Azure Data Explorer and install the connector

    配置和设置Azure Data Explorer并安装连接器
  • Run the end to end demo

    运行端到端演示

先决条件 (Pre-requisites)

总览 (Overview)

As previously mentioned, all the components are defined inside docker-compose.yaml file. Let's go over it bit by bit:

如前所述，所有组件都在docker-compose.yaml文件中定义。 让我们一点一点地看一下：

The Kafka and Zookeeper part is pretty straightforward — using the debezium images

Kafka和Zookeeper部分非常简单-使用debezium图像 

zookeeper:
    image: debezium/zookeeper:1.2
    ports:
      - 2181:2181
kafka:
    image: debezium/kafka:1.2
    ports:
      - 9092:9092
    links:
      - zookeeper
    depends_on:
      - zookeeper
    environment:
      - ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092

The events-producer service is a simple application that sends Storm Events data to a Kafka topic. Storm Events data is a canonical example used throughout the Azure Data Explorer documentation (for example, check this Quickstart and the complete CSV file). The producer app uses the original CSV, but only includes selected fields (such as start and end time, state, source etc.) rather than the entire row (which has more than 20 columns). Here is the sample data:

events-producer服务是一个简单的应用程序 ，可将Storm Events数据发送到Kafka主题。 Storm Events数据是整个Azure数据资源管理器文档中使用的规范示例(例如， 检查此快速入门和完整的CSV文件 )。 生产者应用使用原始CSV，但仅包含选定的字段(例如开始和结束时间，状态，来源等)，而不是整个行(包含20多个列)。 这是示例数据： 

2007-01-01 00:00:00.0000000,2007-01-01 05:00:00.0000000,23357,WISCONSIN,Winter Storm,COOP Observer
2007-01-01 00:00:00.0000000,2007-01-01 06:00:00.0000000,9488,NEW YORK,Winter Weather,Department of Highways
2007-01-01 00:00:00.0000000,2007-01-01 06:00:00.0000000,9487,NEW YORK,Winter Weather,Department of Highways
...

The service component in Docker Compose is defined as such:

Docker Compose中的服务组件定义如下： 

events-producer:
    build:
      context: ./storm-events-producer
    links:
      - kafka
    depends_on:
      - kafka
    environment:
      - KAFKA_BOOTSTRAP_SERVER=kafka:9092
      - KAFKA_TOPIC=storm-events
      - SOURCE_FILE=StormEvents.csv

The sink connector is where a lot of the magic happens! Let’s explore it:

水槽连接器是发生许多魔术的地方！ 让我们来探索一下：

用于Azure数据资源管理器的Kafka Sink连接器 (Kafka Sink Connector for Azure Data Explorer)

Here is the kusto-connect service in docker compose file:

这是kusto-connect compose文件中的kusto-connect服务： 

kusto-connect:
    build:
      context: ./connector
    ports:
      - 8083:8083
    links:
      - kafka
    depends_on:
      - kafka
    environment:
      - BOOTSTRAP_SERVERS=kafka:9092
      - GROUP_ID=adx
      - CONFIG_STORAGE_TOPIC=my_connect_configs
      - OFFSET_STORAGE_TOPIC=my_connect_offsets
      - STATUS_STORAGE_TOPIC=my_connect_statuses

The container is built from a Dockerfile - this makes it easier for you to run it locally as opposed to pulling it from an external Docker registry

容器是从Dockerfile -与从外部Docker注册表中提取容器Dockerfile ，这使您更容易在本地运行它 

FROM debezium/connect:1.2WORKDIR $KAFKA_HOME/connectARG KUSTO_KAFKA_SINK_VERSIONRUN curl -L -O https://github.com/Azure/kafka-sink-azure-kusto/releases/download/v$KUSTO_KAFKA_SINK_VERSION/kafka-sink-azure-kusto-$KUSTO_KAFKA_SINK_VERSION-jar-with-dependencies.jar

It’s based on top of the Debezium Kafka Connect image. Simply download the Kusto Connector JAR (version 1.0.1 at the time of writing) and place it in the Kafka Connect plugins directory. That’s it!

它基于Debezium Kafka Connect图像的顶部。 只需下载Kusto Connector JAR(在编写本文时为1.0.1版 )，然后将其放在Kafka Connect插件目录中即可。 而已！

Here is what the sink connector configuration file looks like:

接收器连接器配置文件如下所示： 

{
    "name": "storm",
    "config": {
        "connector.class": "com.microsoft.azure.kusto.kafka.connect.sink.KustoSinkConnector",
        "flush.size.bytes": 10000,
        "flush.interval.ms": 50000,
        "tasks.max": 1,
        "topics": "storm-events",
        "kusto.tables.topics.mapping": "[{'topic': 'storm-events','db': '<enter database name>', 'table': 'Storms','format': 'csv', 'mapping':'Storms_CSV_Mapping'}]",
        "aad.auth.authority": "<enter tenant ID>",
        "aad.auth.appid": "<enter application ID>",
        "aad.auth.appkey": "<enter client secret>",
        "kusto.url": "https://ingest-<name of cluster>.<region>.kusto.windows.net",
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter": "org.apache.kafka.connect.storage.StringConverter"
    }
}

The process of loading/importing data into a table in Azure Data Explorer is known as Ingestion. This is how the the connector operates as well.

在Azure Data Explorer中将数据加载/导入到表中的过程称为Ingestion 。 连接器也是如此。

Image for post
https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-overview https://docs.microsoft.com/zh-CN/azure/data-explorer/ingest-data-overview

Behind the scenes, it uses the following modules in the Java SDK for Azure Data Explorer

在后台，它在用于Azure Data Explorer的Java SDK中使用以下模块

  • data: to connect, issue (control) commands and query data

    data ：连接，发出(控制)命令和查询数据

  • ingest: to ingest data

    ingest ：摄取数据

At the time of writing, the data formats supported by the connector are: csv, json, txt, avro, apacheAvro, tsv, scsv, sohsv and psv. Data in the Kafka topics is written to files on disk. These are then sent to Azure Data Explorer based on the following connector configurations - when file has reached flush.size.bytes or the flush.interval.ms interval has passed.

在撰写本文时，连接器支持的数据格式为： csv ， json ， txt ， avro ， apacheAvro ， tsv ， scsv ， sohsv和psv 。 Kafka主题中的数据被写入磁盘上的文件。 然后根据以下连接器配置将它们发送到Azure数据资源管理器-当文件达到flush.size.bytes 或 flush.interval.ms间隔时。

The only exception to the above mechanism is the avro and apacheAvro data types which are handled as byte arrays

上述机制的唯一例外是 avro 和 apacheAvro 数据类型，它们作为字节数组处理

By “sent to Azure Data Explorer”, what I really mean that the file is queued for Ingestion (using IngestClient.ingestFromFile)

我所说的“发送到Azure数据资源管理器”实际上是指文件在队列中进行提取 (使用IngestClient.ingestFromFile )

Alright, lots of theory so far…

好吧，到目前为止有很多理论……

..让我们尝试一下！ (.. let’s try it out!)

Clone this repo:

克隆此仓库： 

git clone https://github.com/abhirockzz/kafka-kusto-ingestion-tutorialcd kafka-kusto-ingestion-tutorial

Start off creating an Azure Data Explorer cluster and database using Azure Portal, Azure CLI or any of the client SDKs such as Python.

开始使用Azure Portal ， Azure CLI或任何客户端SDK(例如Python)创建Azure Data Explorer群集和数据库。

Once that’s done, create a table (Storms) and respective mapping (Storms_CSV_Mapping):

完成后，创建一个表( Storms )和相应的映射( Storms_CSV_Mapping )： 

.create table Storms (StartTime: datetime, EndTime: datetime, EventId: int, State: string, EventType: string, Source: string).create table Storms ingestion csv mapping 'Storms_CSV_Mapping' '[{"Name":"StartTime","datatype":"datetime","Ordinal":0}, {"Name":"EndTime","datatype":"datetime","Ordinal":1},{"Name":"EventId","datatype":"int","Ordinal":2},{"Name":"State","datatype":"string","Ordinal":3},{"Name":"EventType","datatype":"string","Ordinal":4},{"Name":"Source","datatype":"string","Ordinal":5}]'

启动容器并安装连接器 (Start containers and install the connector)

Before installing the connector, we need to create a Service Principal in order for the connector to authenticate and connect to Azure Data Explorer service.

在安装连接器之前，我们需要创建一个服务主体，以便连接器进行身份验证并连接到Azure Data Explorer服务。

Use az ad sp create-for-rbac command:

使用az ad sp create-for-rbac命令： 

az ad sp create-for-rbac -n "kusto-sp"

You will get a JSON response as such — please note down the appId, password and tenant as you will be using them in subsequent steps

您将得到这样的JSON响应-请记下appId ， password和tenant因为您将在后续步骤中使用它们 

{
  "appId": "fe7280c7-5705-4789-b17f-71a472340429",
  "displayName": "kusto-sp",
  "name": "http://kusto-sp",
  "password": "29c719dd-f2b3-46de-b71c-4004fb6116ee",
  "tenant": "42f988bf-86f1-42af-91ab-2d7cd011db42"
}

Start the containers:

启动容器： 

docker-compose up

The producer application will start sending events to the storm-events topic. You should see logs similar to:

生产者应用程序将开始将事件发送到storm-events主题。 您应该看到类似于以下内容的日志： 

....
events-producer_1  | sent message to partition 0 offset 0
events-producer_1  | event  2007-01-01 00:00:00.0000000,2007-01-01 00:00:00.0000000,13208,NORTH CAROLINA,Thunderstorm Wind,Public
events-producer_1  | 
events-producer_1  | sent message to partition 0 offset 1
events-producer_1  | event  2007-01-01 00:00:00.0000000,2007-01-01 05:00:00.0000000,23358,WISCONSIN,Winter Storm,COOP Observer
events-producer_1  | 
events-producer_1  | sent message to partition 0 offset 2
events-producer_1  | event  2007-01-01 00:00:00.0000000,2007-01-01 05:00:00.0000000,23357,WISCONSIN,Winter Storm,COOP Observer
events-producer_1  | 
events-producer_1  | sent message to partition 0 offset 3
events-producer_1  | event  2007-01-01 00:00:00.0000000,2007-01-01 06:00:00.0000000,9494,NEW YORK,Winter Weather,Department of Highways
events-producer_1  | 
events-producer_1  | sent message to partition 0 offset 4
events-producer_1  | 2020/08/20 16:51:35 event  2007-01-01 00:00:00.0000000,2007-01-01 06:00:00.0000000,9488,NEW YORK,Winter Weather,Department of Highways
....

We can now install the sink connector to consume these events and ingest them into Azure Data Explorer

现在，我们可以安装接收器连接器以使用这些事件并将其吸收到Azure Data Explorer中

Replace the values for following attributes in adx-sink-config.json: aad.auth.authority, aad.auth.appid, aad.auth.appkey, kusto.tables.topics.mapping (the database name) and kusto.url

替换adx-sink-config.json以下属性的值： aad.auth.authority ， aad.auth.appid ， aad.auth.appkey ， kusto.tables.topics.mapping (数据库名称)和kusto.url 

{
    "name": "storm",
    "config": {
        "connector.class": "com.microsoft.azure.kusto.kafka.connect.sink.KustoSinkConnector",
        "flush.size.bytes": 10000,
        "flush.interval.ms": 50000,
        "tasks.max": 1,
        "topics": "storm-events",
        "kusto.tables.topics.mapping": "[{'topic': 'storm-events','db': '<enter database name>', 'table': 'Storms','format': 'csv', 'mapping':'Storms_CSV_Mapping'}]",
        "aad.auth.authority": "<enter tenant ID>",
        "aad.auth.appid": "<enter application ID>",
        "aad.auth.appkey": "<enter client secret>",
        "kusto.url": "https://ingest-<name of cluster>.<region>.kusto.windows.net",
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter": "org.apache.kafka.connect.storage.StringConverter"
    }
}

In a different terminal, keep a track of the connector service logs:

在另一个终端中，跟踪连接器服务日志： 

docker-compose logs -f | grep kusto-connect

Install the connector:

安装连接器： 

curl -X POST -H "Content-Type: application/json" --data @adx-sink-config.json http://localhost:8083/connectors//check status
curl http://localhost:8083/connectors/storm/status

The connector should spring into action. Meanwhile in the other terminal, you should see logs similar to:

连接器应弹起。 同时，在另一个终端中，您应该看到类似于以下内容的日志： 

kusto-connect_1    | INFO   ||  Refreshing Ingestion Resources   [com.microsoft.azure.kusto.ingest.ResourceManager]kusto-connect_1    | INFO   ||  Kusto ingestion: file (/tmp/kusto-sink-connector-0a8a9fa2-9e4b-414d-bae1-5d01f3969522/kafka_storm-events_0_0.csv.gz) of size (9192) at current offset (93)   [com.microsoft.azure.kusto.kafka.connect.sink.TopicPartitionWriter]kusto-connect_1    | INFO   ||  WorkerSinkTask{id=storm-0} Committing offsets asynchronously using sequence number 1: {storm-events-0=OffsetAndMetadata{offset=94, leaderEpoch=null, metadata=''}}   [org.apache.kafka.connect.runtime.WorkerSinkTask]
ct.runtime.WorkerSinkTask]kusto-connect_1    | INFO   ||  Kusto ingestion: file (/tmp/kusto-sink-connector-0a8a9fa2-9e4b-414d-bae1-5d01f3969522/kafka_storm-events_0_94.csv.gz) of size (1864) at current offset (111)   [com.microsoft.azure.kusto.kafka.connect.sink.TopicPartitionWriter]kusto-connect_1    | INFO   ||  WorkerSinkTask{id=storm-0} Committing offsets asynchronously using sequence number 2: {storm-events-0=OffsetAndMetadata{offset=112, leaderEpoch=null, metadata=''}}   [org.apache.kafka.connect.runtime.WorkerSinkTask]
....

Wait for sometime before data ends up in the Storms table. To confirm, check the row count and confirm that there are no failures in the ingestion process:

等待一段时间，直到数据最终显示在Storms表中。 要确认，请检查行数并确认提取过程中没有失败： 

Storms | count. show ingestion failures

Once there is some data, try out a few queries. To see all the records:

一旦有一些数据，尝试一些查询。 要查看所有记录： 

Storms

Use where and project to filter specific data

使用where和project过滤特定数据 

Storms
| where EventType == 'Drought' and State == 'TEXAS'
| project StartTime, EndTime, Source, EventId

Use the summarize operator

使用summarize 运算符 

Storms
| summarize event_count=count() by State
| where event_count > 10
| project State, event_count
| render columnchart

You should see a chart similar to this:

您应该看到类似于以下的图表：

Image for post

These are just few examples. Dig into the Kusto Query Language documentation or explore tutorials about how to ingest JSON formatted sample data into Azure Data Explorer, using scalar operators, timecharts etc.

这些只是几个例子。 深入了解Kusto查询语言文档或探索有关如何使用标量运算符 ， 时间表等将JSON格式的示例数据提取到Azure Data Explorer中的 教程 。

If you want to re-start from scratch, simply stop the containers (docker-compose down -v), delete (drop table Storms) and re-create the Storms table (along with the mapping) and re-start containers (docker-compose up)

如果您想从头开始重新启动，只需停止容器( docker-compose down -v )，删除( drop table Storms )并重新创建 Storms 表(以及映射)，然后重新启动容器( docker-compose up )

清理 (Clean up)

To delete the Azure Data Explorer cluster/database, use az cluster delete or az kusto database delete

若要删除Azure Data Explorer群集/数据库，请使用z群集删除或az kusto数据库删除 

az kusto cluster delete -n <cluster name> -g <resource group name>az kusto database delete -n <database name> --cluster-name <cluster name> -g <resource group name>

这是一个包装！ (That’s a wrap!)

I hope this helps you get started building data ingestion pipelines from Kafka to Azure Data Explorer using the Kafka Connect sink connector. This is not the only way to ingest data into Azure Data Explorer (of course!). You’re welcome to explore the documentation and explore other techniques such as One-click Ingestion, using Event Grid, IoT Hub and much more!

我希望这可以帮助您开始使用Kafka Connect接收器连接器来构建从Kafka到Azure Data Explorer的数据提取管道。 这不是将数据导入Azure Data Explorer的唯一方法(当然！)。 欢迎您浏览文档并浏览其他技术，例如“ 一键式提取”，使用事件网格 ， IoT中心等等！

Until next time, Happy Exploring!

直到下一次，快乐探索！

翻译自: https://itnext.io/tutorial-data-ingestion-from-kafka-to-azure-data-explorer-d1886e24f054

kafka azure

weixin_26737625
关注
Kafka原理、集群、监控企业实战
03-31
kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 本课程详细讲解原理，以及集群搭建，使用Python/Java操作Kafka、并采用Prometheus监控Kafka，结合Grafana绘制出Kafka的监控大盘。 之前有报名过 《ELK/ELFK企业PB级日志系统实战》的同学建议学习本门课程 温馨提示： 课件在最后一节(课堂总结) 可以打包下载
【可视化工具】Kafka-Offset Explorer使用
热门推荐
康师傅没有眼泪
03-20 2万+
Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。二、环境信息系统环境：windows 10版本：2.2Kafka版本：Kafka2.0.0三、安装和使用3.1 下载Offset Explorer 和安装下载到本地的 .exe文件Next安装路径 ，Next。
Kafka【应用 01】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
Java与大数据相关实践内容分享！
08-02 2183
Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
Kafka消息可视化工具-Offset Explorer使用
yixiuquan的博客
05-18 9557
下载安装： 官网下载Offset Explorer，下载地址：Offset Explorer 下载之后直接安装，根据需要修改安装配置 软件配置 1、启动offsetexplorer.exe，在Add Cluster窗口Properties 选项下，填写Cluster name等参数信息如果没有搭建zookeeper 服务，不需要修改zookeeper 的配置参数，即使后面页面弹框报错提示Unable to connection zookeeper server也不影响 如果...
Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
シ風
12-24 7021
一篇学会使用 Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试
azure-event-hubs-kafka-example:使用Spring Boot和Spring Kafka连接到Azure Event Hub的最小示例
05-15
Azure Event Hubs Kafka示例这是一个使用Spring Boot和Spring Kafka通过Kafka协议连接到Azure Event Hub的最小示例。 您可以使用以下指南在Azure上创建启用了Kafka的事件中心： 创建一个名为test-topic事件（又称为...
streamx：kafka-connect-s3：从Kafka到对象存储（s3）提取数据
01-30
StreamX是基于kafka连接的连接器，用于将数据从Kafka复制到对象存储，例如Amazon s3，Google Cloud Storage和Azure Blob存储。 它专注于可靠和可扩展的数据复制。 它可以以不同的格式（如镶木地板）写出数据，以便...
kafka的azure-event-hubs：适用于Apache Kafka生态系统的Azure事件中心
02-02
Azure事件中心Kafka终结点使用户可以使用Kafka协议连接到Azure事件中心。 通过对Kafka应用程序进行最少的更改，用户将能够连接到Azure事件中心，并获得Azure生态系统的好处。 Kafka生态系统的事件中心支持及更高版本...
data_projects:数据分析和数据科学产品组合
04-12
"data_projects" 提供了一个综合性的平台，旨在展示和探讨一系列的数据分析与数据科学项目，这些项目涵盖了从数据采集、预处理到建模、可视化和实际应用的全过程。 1. **数据采集**：项目可能涉及到从各种来源获取...
golang-azure-eventhub-kafka:与Azure Event Hub连接为Kafka主题的示例
03-20
在本项目中，“golang-azure-eventhub-kafka”是一个示例，展示了如何使用Go语言与Azure Event Hubs进行交互，将Event Hubs作为一个Kafka主题来操作。这个项目主要涉及了以下几个重要的技术知识点： 1. **Go语言...
Mac和Windows版本Kafka可视化工具kafkatool Offset Explorer
05-17
包含Mac 和 windows版本, 可以连接kafka，非常方便的查看topic、consumer、consumer-group 等信息。 1、首先在Properties页签下填写好 zookeeper 地址和端口 2、再从 Advanced页签下填写 broker地址和端口
kusto查询：用于学习kusto语言的示例查询
02-05
kusto查询：用于学习kusto语言的示例查询
kafka可视化工具
01-03
kafka可视化工具下载，此版本为64位kafka工具。Kafka Tool官网下载链接：http://www.kafkatool.com/download.html
offset explore 工具介绍（原kafka tool）
最新发布
yszbrzdd的博客
04-24 746
Offset Explorer（即Kafka tool）是用于管理和使用Kafka群集的GUI应用程序。它提供了一个直观的UI，允许用户查看Kafka集群中的对象以及集群主题中存储的消息。官网地址：https://www.kafkatool.com/。此工具个人使用是完全免费的。
Azure云搭建kafka集群环境
wang120702的博客
12-18 552
1. 环境概述 kafka集群环境搭建需要zookeeper集群支持，目前kafka压缩包自带zookeeper，本次集群实施我们采用kafka自带的zookeeper对环境部署。 Zookeeper集群搭建至少需要三台vm，如果需要增加集群，zookeeper集群数量为（2n+1）增加。 下图为kafka体系结构： Topic: 主题可理解为一个队列。Kafka的消息通过topic进行分类，topic就像是数据库中的"表"。topic可以被分成若干个分区(类似HBase中建表时预分区)，一个分区对应一个
Kafka的终极UI工具丨Offset Explorer功能简介
Acunetix的博客
12-30 7950
Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。
超好用的 Kafka 客户端管理工具 Offset Explorer
南有南无
03-06 1万+
我们在项目开发中根据实际业务需求会使用到一些中间件，比如缓存redis、消息队列Kafka/RocketMQ/RabbitMQ等，在代码中集成后，可以通过命令来查看数据的走向，但我们更希望的是有一些可视化的辅助工具，来帮助我们快速的查看和监控服务以及数据的走向。很多中间件官方并没有给我们提供一些比较好的可视化工具。 以Kafka为例介绍kafka可视化工具offset explorer的使用，更加方便我们对kafka数据的直观感受。 一、下载安装 1、从kafka tool官网下载Offset Exp
Kafka基本原理、对比Azure Event Hub
W's play ground
08-12 1176
Kafka原理 对比Azure Event Hub
迈向Serverless数据湖3.0：企业级数据湖的进化
此外，数据湖3.0的实现还需要配合现代化的数据工具和平台，例如Apache Hadoop、Spark、Kafka等，这些工具能够提供高效的数据处理和分析能力，支持实时数据流处理和复杂分析。同时，云服务提供商如AWS、Google Cloud...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值