【大数据平台】——基于Confluent的Kafka Rest API探索（二）

最新推荐文章于 2024-06-13 09:44:17 发布
最新推荐文章于 2024-06-13 09:44:17 发布
阅读量962 收藏 2
点赞数
分类专栏： 大数据平台应用 文章标签： java kafka rest curl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NEU_LightBulb/article/details/103413089
版权

  • Kafka Rest Proxy特点与使用

  • Metadata

可以使用对相应URL的GET请求读取有关群集的大多数Metadata 信息，如：brokers, topics, partitions, configs等。

 

  • Producers

区别于Java Client，Kafka-rest不会对外公开Producer对象，而是通过一个Producers Pool来处理每一个生产消息的请求。

如此，Producer实例便是共享的了，也就是说无法通过每一个请求来配置Producer属性。但是可以通过修改Kafka Rest Proxy的配置文件来制定一个全局的Producer属性。默认的Producer全局属性如下：

producer.threads = 5

其余默认属性继承Kafka-Producer的默认属性，如果想配置的话使用前缀“producer.”+在kafka的producer.propertities里的key就可以了。

  • Consumers

Kafka Rest Prox使用High Level Consumer来实现消费topic的数据。每一个Consumer实例都是有状态（state）的并绑定给一个Topic。Offset提交可以是自动的，也可以由用户在请求中显式指定或提交。默认限制为每个 Consumer对应一个线程，可以使用Multiple Consumers来处理高吞吐量。

尽管不同于Producer实例，Consumer实例是不共享的，但仍然是底层服务才能操控的资源。通过API可以有限的修改一些配置，也可以通过修改Kafka Rest Proxy的配置文件来制定一个全局的Consumer属性。默认的Consumer全局属性如下：

consumer.request.max.bytes = 67108864
consumer.request.timeout.ms = 1000
consumer.threads = 1
simpleconsumer.pool.size.max = 25
consumer.instance.timeout.ms = 300000
consumer.iterator.backoff.ms = 50
consumer.iterator.timeout.ms = 1

其余默认属性继承Kafka-Consumer的默认属性，如果想配置的话使用前缀“consumer.”+在kafka的consumer.propertities里的key就可以了。

具体参数作用可参考

https://docs.confluent.io/2.0.0/kafka-rest/docs/config.html 

  • Multi-topic Produce Requests（研究中）

  • Multi-threaded Consumers（研究中）

  • API使用

通过HTTP的GET、POST请求实现，请求URL格式为

http:/ /<HOST> : <PORT> / [ option / option_value]

HOST是服务器IP，PORT是Kafka-rest的端口，本文配置的是8083。之后便是成对的 [ option / option_value]，其中可用的option有：

Option

请求类型   

说明

topics

GET

option_value指定Topic。

option_value为空时用来获得所有Topic列表。

option_value不为空时用来获得指定Topic的metadata 信息

topics

POST

option_value指定Topic，向其发送消息。被发送的消息以特定的Json放在请求中。

partitions

GET

option_value指定Partition。

option_value为空时用来（结合topics/）获得指定Topic的分区表及分区信息。

option_value为不空时用来（结合topics/）获得指定Topic的指定分区的信息。

partitions

POST

option_value指定Partition，向指定分区发送消息

consumers

POST

option_value指定consumer_group

instances

POST

option_value指定instances_id

brokers

GET

option_value为空用来获得broker列表。

  • 基于CURL命令的API介绍

  • 获取Topic列表

CURL命令：

curl {HOST}:{PORT}/topics \
-X GET

Response JSON：

topics (array) – Topic名称列表

  • 获取Topic的metadata

CURL命令：

curl {HOST}:{PORT}/topics/{TOPIC_NAME} \
-X GET

 

Response JSON：

name (string) – 名称
configs (map) – 一系列的Topic配置参数
partitions (array) – 这个Topic的Partition列表
partitions[i].partition (int) – partition ID
partitions[i].leader (int) – partition的leader的 broker ID
partitions[i].replicas (array) – 备份列表
partitions[i].replicas[j].broker (array) – 备份所在broker ID 
partitions[i].replicas[j].leader (boolean) – 这个备份是否是leader 
partitions[i].replicas[j].in_sync (boolean) – 这个备份是否正在与leader同步

  • 向Topic发送消息

CURL命令：

curl {HOST}:{PORT}/topics/{TOPIC_NAME} \
-X POST \
-H "Content-Type:application/vnd.kafka.binary.v2+json" \
-d {DATA_JSON}

Data JSON:

key_schema (string) – 完整的schema字符串（非必须）
key_schema_id (int) – 注册schema时返回的ID（非必须）
value_schema (string) – 完整的schema字符串（非必须）
value_schema_id (int) – 注册schema时返回的ID（非必须）
records(array) – 发送的一系列记录
records[i].key (object) – 消息的Key用来分区的（非必须）
records[i].value (object) – 消息内容
records[i].partition (int) – 消息的目标分区（非必须）
注：*schema 和对应的*schema_id二者有一即可。

Response JSON：

offsets (object) – 目标分区的offset信息
offsets[i].partition (int) – 目标分区ID
offsets[i].offset (long) – 目标分区的offset
offsets[i].error_code (long) –此次发送的错误代码
offsets[i].error (string) – 此次发送的错误信息

  • 获取Toppic所有分区信息

CURL命令：

curl {HOST}:{PORT}/topics/{TOPIC_NAME}/partitions \
-X GET

Response JSON：

partition (int) – 分区ID
leader (int) –  分区 leader 的Broker ID
replicas (array) – 分区备份的Broker列表
replicas[i].broker (int) – Broker ID 
replicas[i].leader (boolean) – 是否是 leader
replicas[i].in_sync (boolean) – 是否正在同步

  • 获取Topic的指定分区信息

CURL命令：

curl {HOST}:{PORT}/topics/{TOPIC_NAME}/partitions/{PARTITION_ID} \
-X GET

Response JSON：

partition (int) – 分区ID
leader (int) –  分区 leader 的Broker ID
replicas (array) – 分区备份的Broker列表
replicas[i].broker (int) – Broker ID 
replicas[i].leader (boolean) – 是否是 leader
replicas[i].in_sync (boolean) – 是否正在同步

  • 向Topic指定分区发送消息

CURL命令：

curl {HOST}:{PORT}/topics/{TOPIC_NAME}/partitions/{PARTITION_ID} \
-X POST \
-H "Content-Type:application/vnd.kafka.binary.v2+json" \
-d {DATA_JSON}

Data JSON:

key_schema (string) – 完整的schema字符串（非必须）
key_schema_id (int) – 注册schema时返回的ID（非必须）
value_schema (string) – 完整的schema字符串（非必须）
value_schema_id (int) – 注册schema时返回的ID（非必须）
records(array) – 发送的一系列记录
records[i].key (object) – 消息的Key用来分区的（非必须）
records[i].value (object) – 消息内容
records[i].partition (int) – 消息的目标分区（非必须）
注：*schema 和对应的*schema_id二者有一即可。

Response JSON：

offsets (object) – 目标分区的offset信息
offsets[i].partition (int) – 目标分区ID
offsets[i].offset (long) – 目标分区的offset
offsets[i].error_code (long) –此次发送的错误代码
offsets[i].error (string) – 此次发送的错误信息

  • 从Topic指定分区消费消息

CURL命令：

curl {HOST}:{PORT}/topics/{TOPIC_NAME}/partitions/{PARTITION_ID}/messages?offset=(int)[&count=(int)]\
-X GET

查询参数：

offset (int) – 消费的起始Offset
count (int) – 消费数据条数. 默认是 1.

Response JSON：

key (string) – 消息的Key
value (string) – 消息的内容
partition (int) – 所属分区
offset (long) – 所在Offset

  • 注册一个Consumer

CURL命令：

curl {HOST}:{PORT}/consumers/{CONSUMER_GROUP_NAME} \
-X POST

Data JSON:

name (string) – Consumer名字
format (string) – 数据反序列化格式，有“binary”, “avro”, “json”. 默认“binary”.
auto.offset.reset (string) – 设置consumer的auto.offset.reset  
auto.commit.enable (string) – 设置consumer的auto.commit.enable
fetch.min.bytes (string) – 设置consumer的fetch.min.bytes 
consumer.request.timeout.ms (string) – 设置consumer的 consumer.request.timeout.ms

Response JSON：

instance_id (string) – 消费时使用的唯一ID
base_uri (string) – 用于构造针对此使用者实例的后续请求的URI

  •    手动提交Consumer的offsets

CURL命令：

curl {HOST}:{PORT}/consumers/{CONSUMER_GROUP_NAME}/instances/{CONSUMER_ID}/offsets \
-X POST

Response JSON：

topic (string) – Topic名称
partition (int) – 提交的分区ID
consumed (long) – 最近消费的消息的offset
committed (long) – 刚刚提交的offset

  • 删除一个Consumer

CURL命令：

curl {HOST}:{PORT}/consumers/{CONSUMER_GROUP_NAME}/instances/{CONSUMER_ID} \
-X DELETE

  • 使用一个Consumer消费数据

CURL命令

curl {HOST}:{PORT}/consumers/{CONSUMER_GROUP_NAME}/instances/{CONSUMER_ID}/topics/{TOPIC} \
-X GET

Response JSON：

key (string) – 消息的Key
value (string) – 消息的内容
partition (int) – 所属分区
offset (long) – 所在Offset

  • Consumer订阅

CURL命令：

curl {HOST}:{PORT}/consumers/{CONSUMER_GROUP_NAME}/instances/{CONSUMER_ID}/subscription \
-X POST
-H "Content-Type:application/vnd.kafka.json.v2+json" \
-d {DATA_JSON}

 Data JSON:

topics(array) – 要订阅的Topic列表

  • Records接口消费

CURL命令：

curl {HOST}:{PORT}/consumers/{CONSUMER_GROUP_NAME}\
/instances/{CONSUMER_ID}/records \
-X GET

 Response JSON：

topic(string) - 所在Topic
key (string) – 消息的Key
value (string) – 消息的内容
partition (int) – 所属分区
offset (long) – 所在Offset

  • 详细使用参考：

https://docs.confluent.io/2.0.0/kafka-rest/docs/api.html

  • Java 工具类（DEMO）

目前实现了简单的逐条发送、成批发送、创建消费者、消费 4个方法

https://github.com/zjw271208550/learn/tree/master/console/src/main/java/KafkaREST 

 

NEU_LightBulb
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka-rest：用于Kafka的融合REST代理
02-05
Kafka REST代理 Kafka REST代理为Kafka集群提供了RESTful接口。 无需使用本机Kafka协议或客户端，即可轻松生成和使用消息，查看集群状态以及执行管理操作。 用例示例包括使用任何语言构建的任何前端应用程序向Kafka报告数据，将消息摄取到尚不支持Kafka的流处理框架中以及编写管理操作脚本。 安装 您可以作为一部分下载Kafka REST代理的预构建版本。 您可以阅读我们的完整和完整的 要从源代码安装，请遵循下面“开发”部分中的说明。 部署方式 REST代理包括内置的Jetty服务器。 建议使用包装脚本bin/kafka-rest-start和bin/kafka-
基于confluent的kafka和kafka-rest代理配置
zld_555的博客
05-21 4767
基于confluent的kafka和kafka-rest代理配置 一、组件及说明 （一）Confluent的组件简介 Confluent Platform 包括更多的工具和服务，使构建和管理数据流平台更加容易。 Confluent Control Center（闭源）。管理和监控Kafka最全面的GUI驱动系统。 Confluent Kafka Connectors（开源）。数据进出kafka，连...
探索数据流的奥秘：kafka-rest——一个轻量级的Node.js库
最新发布
gitblog_00015的博客
06-13 293
探索数据流的奥秘：kafka-rest——一个轻量级的Node.js库 项目地址:https://gitcode.com/confluentinc/kafka-rest-node 项目介绍 在大数据和微服务的浪潮中，Apache Kafka作为消息系统和数据管道的明星产品，其强大的功能不容小觑。而为了简化与Kafka的交互过程，尤其是对于那些喜欢JavaScript世界的开发者，kafka-res...
基于kafka rest实现资源访问服务化（实战）
weixin_30256901的博客
08-01 299
问题引出 新产品的体系架构包含多个模块，模块集特点是数量多、模块间交互复杂。那么统一接口是一个很好的解决方案，为了实现统一接口打算采用微服务的核心思想，设计了采用restful service的数据交互方式技术架构。这里记录一下kafka资源访问的服务化搭建，后续记录api和实战。 解决方案 restful api的出现在很大程度上降低了模块/系统数据交互的难度（开发和使用）...
探索 Kafka REST Proxy：无缝集成Kafka的利器
gitblog_00083的博客
03-23 631
探索 Kafka REST Proxy：无缝集成Kafka的利器 项目地址:https://gitcode.com/confluentinc/kafka-rest 在大数据处理和实时流计算的世界中，Apache Kafka是一个不可或缺的角色，它提供高吞吐量、低延迟的消息传递服务。然而，对于不熟悉Java或直接与Kafka API交互的开发者而言，使用Kafka可能会有些许挑战。这就是Conflu...
Confluent kafka rest实战
weixin_34023982的博客
01-11 625
为什么80%的码农都做不了架构师？>>> ...
confluent-kafka-python:Confluent的Kafka Python客户端
04-12
Confluent的适用于Apache Kafka TM的Python客户端 confluent-kafka-python提供了与所有兼容的高级Producer，Consumer和AdminClient 经纪人> = v0.8， 和。 客户是： 可靠-它是 （通过二进制车轮自动提供）的包装，...
Python confluent kafka客户端配置kerberos认证流程详解
01-19
其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下具体的配置过程，confluent kafka模块底层依赖于librdkafka，这是使用c编写的高性能的...
confluent-kafka-go-producer-example：基于Confluent的Kafka Go库的Kafka生产者示例
02-14
该实现基于Confluent Kafka Go库和Confluent的示例实现的略微扩展，可以在找到。 用法 要构建Kafka生产者，只需执行以下命令： $ make 确保之前已安装。 可以使用以下命令运行示例应用程序： confluent-kafka-go...
专栏大数据中windows下搭建kafka集群中需要用到的安装包
07-25
在大数据领域，Apache Kafka是一款广泛使用的分布式流处理平台，它被设计用来构建实时数据管道和流应用。在Windows环境下搭建Kafka集群可以帮助开发者在本地环境中快速测试和开发相关的流处理应用。以下是一份详细的...
Confluent 安装 Kafka REST Proxy服务使用
pycrossover的博客
02-27 2090
背景： 公司由于业务需求想要通过http的方式往kafka发送消息，所以需要安装一个kafka的插件Confluent 实现。 1.下载安装 官网下载链接：https://www.confluent.io/download. 安装的前提是kafka和zookeeper有安装成功，能正常运行（网上很多教程，自行查找吧） 下载好tar包之后解压放在自己指定的目录下然后开始修改配置文件 解压后进入到c...
kafka-rest-proxy:用go编写的独立Kafka Rest代理
05-01
卡夫卡休息代理 用go编写的独立Kafka rest代理。 任何实例都会在zookeeper上注册自己（注册名称空间是可配置的）并连接到所有kafka代理。 您可以将<URI>:<PORT>/topic/<TOPIC> uri上的内容作为邮件正文传递给kafka主题 配置 为了配置服务，需要制作一个config.toml文件并将其放在应用程序二进制文件附近 advertised_listener = " 127.0.0.1:8090 " # Optional ip and port that http proxy bind on (default: 0.0.0.0:8080) debug_port = " :6060 " # Optional debugging port (default: 6060) [ log ] format = " j
kafka-connect-client:适用于Apache Kafka Connect REST接口的Java客户端库
04-11
REST接口的Java客户端库 目录 建立项目 ./mvnw -B clean verify 程式码范例 列出所有活动的连接器 ApiClient client = Config . defaultClient(); Configuration . setDefaultApiClient(client); ConnectApi api new ConnectApi (); final List< String> connectors = api . listConnectors(); 部署新的连接器 ApiClient apiClient = Config . defaultClient(); Configuration . setDefaultApiClient(apiClient); KafkaConnectRestClient client = new KafkaCo
kafka-rest:用于Kafka的融合REST代理
04-30
Kafka REST代理 Kafka REST代理为Kafka集群提供了RESTful接口。 它使生成和使用消息，查看群集状态以及执行管理操作变得很容易，而无需使用本机Kafka协议或客户端。 用例示例包括从使用任何语言构建的任何前端应用向Kafka报告数据，将消息摄取到尚不支持Kafka的流处理框架中以及编写管理操作脚本。 安装 您可以作为一部分下载Kafka REST Proxy的预构建版本。 您可以阅读我们的完整和完整的 要从源代码安装，请按照下面的“开发”部分中的说明进行操作。 部署方式 REST代理包括内置的Jetty服务器。 包装脚本bin/kafka-rest-start和bin/kafka-rest-stop是启动和停止服务的推荐方法。 快速开始 以下内容假设您已经使用默认设置和一些已创建的主题运行Kafka和REST Proxy实例。 # Get a list
kafka-rest搭建
06-29
kafka-rest搭建相关资源，包括zookeeper\kafka\rest\nginx\keepalived及nginx详细配置
【大数据平台】——基于Confluent的Kafka Rest API探索（四）
NEU_LightBulb的博客
12-05 639
Kafka RestAPI 指定分区 Kafka消息分区规则 这里我们戳进KafkaProducer的send方法 @Override public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) { // intercep...
Kafka Rest Proxy基础（java版）
雨季的博客
11-27 643
import java.io.InputStream; import java.io.InputStreamReader; import java.io.Reader; import java.net.URISyntaxException; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.client.methods.HttpGet; import org.apa.
安装kafka rest proxy - 使得我们能通过http访问kafka
热门推荐
小树叶子
05-12 1万+
安装kafka rest proxy - 使得我们能通过http访问kafka，这对于那些没用对应kafka客户端的语言尤其有用，比如php。 The Kafka REST Proxy provides a RESTful interface to a Kafka cluster. It makes it easy to produce and consume messages, v
Apache Kafka简介_docker安装kafka
2401_84150320的博客
04-11 597
在本文中，我们了解到 Kafka 是为高可扩展性和容错能力而设计的。生产者收集消息并批量发送，主题被划分为分区以允许并行消息传递和消费者的负载平衡，并且通过多个代理完成复制以确保容错。自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
confluent kafka 详解
10-28
Confluent Kafka 是一个流数据平台，它基于 Apache Kafka 构建，旨在简化企业对流式数据的管理和处理。Confluent Kafka 提供了许多功能和工具，可以帮助开发人员和企业更好地利用 Kafka 进行数据流的处理和分析。 首先，Confluent Kafka 提供了一个集中式控制面板，帮助用户更好地管理 Kafka 集群和主题。用户可以通过该控制面板监控和管理集群的状态、配置和性能指标，从而更好地了解数据流的情况，并做出相应的调整和优化。 其次，Confluent Kafka 还提供了一系列的工具和库，简化了对 Kafka 的开发和集成。其中最重要的是 Confluent Schema Registry，它可以用来管理和存储数据的 Avro 或其他序列化格式的 schema，方便开发人员在消费和生产数据时进行 schema 的验证和转换。此外，Confluent Kafka 还提供了一些开发工具和客户端库，如 Kafka Connect、Kafka Streams 和 KSQL，使得开发人员可以轻松地构建和处理流式数据应用。 另外，Confluent Kafka 还提供了一些高级功能，如 Exactly Once 处理和事务支持。这些功能使得在处理高吞吐量的数据时，确保不会丢失和重复处理数据变得更加可靠和简单。 综上所述，Confluent Kafka 是一个强大而全面的流数据平台，通过提供丰富的功能和工具，帮助企业更好地管理和处理流式数据。无论是开发人员还是数据工程师，都可以利用 Confluent Kafka 的各种功能和工具，构建可靠和高效的实时数据处理系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值