kafka集群版 connectors 通过REST API实现控制

最新推荐文章于 2024-05-11 14:34:00 发布
最新推荐文章于 2024-05-11 14:34:00 发布
阅读量1.4k 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwq_vracle/article/details/90718270
版权
本文介绍了如何在Kafka集群模式下通过REST API来控制Connectors，特别是进行MySQL增量同步。集群模式是实现此功能的关键，而非单机模式。文中列举了若干Linux命令，如获取Worker信息、列出Connector、暂停或重启Connector等，并提供了一个创建Connector任务的curl命令示例。
摘要由CSDN通过智能技术生成

之前一直用单机版控制connectors 测试两台服务器为什么不能实现mysql增量同步 原来单机模式不支持 只能集群模式 

集群模式是通过REST API实现的

 

linux常用命令如下：

  • curl -s <Kafka Connect Worker URL>:8083/ 
    获取 Connect Worker 信息

  • curl -s <Kafka Connect Worker URL>:8083/connector-plugins 
    列出 Connect Worker 上所有 Connector

  • curl -s <Kafka Connect Worker URL>:8083/connectors/<Connector名字>/tasks 
    获取 Connector 上 Task 以及相关配置的信息

  • curl -s <Kafka Connect Worker URL>:8083/connectors/<Connector名字>/status 
    获取 Connector 状态信息

  • curl -s <Kafka Connect Worker URL>:8083/connectors/<Connector名字>/config 
    获取 Connector 配置信息

  • curl -s -X PUT <Kafka Connect Worker URL>:8083/connectors/<Connector名字>/pause
    暂停 Connector

  • curl -s -X PUT <Kafka Connect Worker U

最低0.47元/天 解锁文章
wwq_vracle
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
安装kafka rest proxy - 使得我们能通过http访问kafka
小树叶子
05-12 1万+
安装kafka rest proxy - 使得我们能通过http访问kafka，这对于那些没用对应kafka客户端的语言尤其有用，比如php。 The Kafka REST Proxy provides a RESTful interface to a Kafka cluster. It makes it easy to produce and consume messages, v
Kafka本机搭建、常用命令、以及Rest模式||Kafka在zookeeper中的注册关系
一个摄影师的编程路
01-18 6871
Kafka简单教程
kafka-rest：用于Kafka的融合REST代理
02-05
Kafka REST代理 Kafka REST代理为Kafka集群提供了RESTful接口。 无需使用本机Kafka协议或客户端，即可轻松生成和使用消息，查看集群状态以及执行管理操作。 用例示例包括使用任何语言构建的任何前端应用程序向Kafka报告数据，将消息摄取到尚不支持Kafka的流处理框架中以及编写管理操作脚本。 安装 您可以作为一部分下载Kafka REST代理的预构建版本。 您可以阅读我们的完整和完整的 要从源代码安装，请遵循下面“开发”部分中的说明。 部署方式 REST代理包括内置的Jetty服务器。 建议使用包装脚本bin/kafka-rest-start和bin/kafka-
Confluent之Kafka Connector初体验
itxiaoshen博客
04-17 4104
LinkedIn数据驱动主要有两点领悟，其一是强调动态数据有效性要远远大于静态数据，其二是要利用所有数据化信息而不仅仅是交易核心数据。 本篇主要从Kafka诞生背景开始，一步步引出Kafka的Connect组件，而Confluent也免费开源100多种Connector，最后用一个完整的Source和Sink例子带入门如何在分布式模式使用Kafka的Connector
基于 HBase &amp； Phoenix 构建实时数仓（5）—— 用 Kafka Connect 做实时数据同步_phoenix 数据同步
最新发布
2401_84181164的博客
05-11 533
本篇演示安装配置 Kafka connect 插件实现 MySQL 到 Hbase 的实时数据同步。依赖环境见本专栏前面文章。
php curl kafka,分布式消息系统：Kafka
weixin_29617841的博客
04-01 456
前言作为消息中间件，Kafka用以服务消息的异步传输功能和JMS类似：生产者把消息放进队列中，消费者从队列中获取数据但是实现起来却是完全不一样Kafka流程结构图1.Producer是通过连接Broker来发送消息的2.Producer是向某个Topic来传递送消息的3.发送到Topic中的消息是可以给不同Broker处理的4.Consumer是连接到某个Broker来监听订阅的Topic的5.B...
kafka-connect-python:Kafka Connect REST API的Python模块
05-16
Kafka Connect REST API的Python模块 要求 巨蟒（3.6） 安装 使用pip安装... pip install kafka-connect-python 例子 创建KafkaConnect REST接口 from kafka_connect import KafkaConnect connect = Kafka...
kafka-connector的使用.zip_kafka
09-24
3. **监控与管理**: 通过 REST API 监控 Connector 的状态，管理任务（如添加、删除或更新任务）。 4. **日志处理**: 插件会定期扫描日志文件，将新产生的日志条目转换为 Kafka 消息，并发送到指定的主题。 5. **...
kafka-connect-ftp：FTP服务器的Kafka连接源-监视FTP服务器上的文件并将更改输入到Kafka
02-05
5. **监控和调试**：通过Kafka Connect REST API或日志文件，监控连接器的运行状态和错误信息。 在实际应用中，`kafka-connect-ftp`可以作为数据湖的入口，将FTP服务器上的数据流式传输到Kafka，进一步进行数据处理...
jkes：一个基于java，kafka，kafka connect，elasticsearch的搜索框架和多租户搜索平台
02-05
杰克斯 ...安装jkes-index-connector和jkes-delete-connector到Kafka Connect类路径 安装智能中文分析插件 sudo bin/elasticsearch-plugin install analysis-smartcn 配置 ♡jkes-spring-data-jpa依赖
kafka-connect-jdbc-4.1.1.zip
05-18
然后，通过Kafka Connect的REST API启动此连接器，Kafka Connect JDBC就会开始定期检查并导入`mydatabase.mytable`中的增量数据到名为`mytopic-mytable`的Kafka主题。 总的来说，Kafka Connect JDBC 4.1.1是实现...
druid接入kafka indexing service整个流程
千淘万漉
05-23 3336
先介绍下我们的druid集群配置 Overload 1台 Coordinator 1台 Middle manager 3台 Broker 3台 Historical一共12台，其中cold 6台，hot 6台 druid版本：0.10, 0.9之后即可支持Kafka indexing service 目前的druid主要用来做批量灌入，包括天级，小时级，五分钟级 由于这个五分...
架构师成长之路：Kafka连接器深度解读之错误处理和死信队列
马小婧QAQ
09-10 1072
Kafka连接器是Kafka的一部分，是在Kafka和其它技术之间构建流式管道的一个强有力的框架。它可用于将数据从多个地方（包括数据库、消息队列和文本文件）流式注入到Kafka，以及从Kafka将数据流式传输到目标端（如文档存储、NoSQL、数据库、对象存储等）中。 现实世界并不完美，出错是难免的，因此在出错时Kafka的管道能尽可能优雅地处理是最好的。一个常见的场景是获取与特定序列化格式不匹配的主题的消息（比如预期为Avro时实际为JSON，反之亦然）。自从Kafka 2.0版本发布以来，Kafka连接
Kafka Connect 的 REST API 接口
雾岛与鲸的博客
05-10 2893
REST API 由于 Kafka Connect 的意图是以服务的方式去运行，所以它提供了 REST API 去管理 connectors，默认的端口是 8083（我们也可以在启动 Kafka Connect 之前在配置文件中添加 rest.port 配置）： GET /connectors：返回所有正在运行的 connector 名 POST /connectors：新建一个 connector；请求体必须是 json 格式并且需要包含 name 字段和 config 字段，name 是 connect
Kafka Connect Rest API 示例
善皮之的博客
10-24 2737
Kafka Rest API 示例 在Cent os 7下安装一个curl工具，一般默认自带 下文中connectorName 是连接器的名字，下面的相关操作基本都用了过了。 查询当前活动的connectors curl localhost:8083/connectors 心得：这个方法就是个查询API结果会得到一个connector list 提交一个连接器json配置 curl -s -X POST -H 'Content-Type: application/json' --data @con
kafka httpclient connectors rest api
wwq_vracle的博客
06-04 756
导入两个Httpclient包 kakfa 使用httpclient测试 connectors restAPI 测试 public enum HttpEnum { HTTP("http://"), HTTP_GET("get"), HTTP_POST("post"), HTTP_PUT("put"), HTTP_DELETE("delete"), ...
kafka connect简介以及部署
热门推荐
会写代码的哈士奇
02-26 4万+
Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。
如何启动一个 kafka connector （步骤详解+问题解决）
JJBOOM425的博客
05-21 6550
这里前提条件是已经部署安装了一个kafka连接器。我之前写过一篇关于 kafka-connect-oracle 连接器例子部署的博客：连接器部署 最后编译执行得到了一个jar包，放在指定路径，然后这篇博客总结一下如何启动一个kafka连接器。（这个方法不仅只适用此连连接器） 1、启动Zookeeper与Kafka 这里需要用到kafka中的topic，所以现在kafka中创建student的主题：kafka常用指令 kafka-topics --zookeeper 192.168.129.2...
怎么通过通过Kafka Connector来连接Kafka
03-29
您可以按照以下步骤通过Kafka Connector连接Kafka： 1. 安装Kafka Connector：您可以从Kafka官方网站上下载并安装Kafka Connector。 2. 配置Kafka Connector：您需要为Kafka Connector配置一些属性，以便它知道要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值