Java数据同步Kafka_干货：使用Kafka connect 同步数据至Elasticsearch

最新推荐文章于 2024-06-15 20:12:08 发布
最新推荐文章于 2024-06-15 20:12:08 发布
阅读量708 收藏 1
点赞数
文章标签： Java数据同步Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39531037/article/details/114974202
版权

接着上篇安装完postgresql connect，我们再安装es connect就容易多了；

安装es connector plugins

因为docker 安装的connect容器里没有es的connect plugins，所以我们去 confluent官网下载(搜索 Kafka Connect Elasticsearch下载即可)

3a9d0aaf10dc9f76b4eb2cd6cca2ed3d.png

下载解压后放至 connect目录(上篇中设置的挂载目录)中，如果不记得将容器目录挂载到哪可通过如下命令查看：

docker inspect 容器id |grep Mounts -A 20

7278f04785ceba03dc8a3da5ddf93653.png

放置完成后重启connect 容器，并请求如下http验证：

get ip:8093/connector-plugins

9f239f09beec7f14088e2589d73cce39.png

创建es sink connector

post ip:8093/connectors 为何不

最低0.47元/天 解锁文章
weixin_39531037
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java语言kafka数据批量导入到Elasticsearch实例
11-25
消费kafka数据，然后批量导入到Elasticsearch,本例子使用的kafka版本0.10，es版本是6.4，使用bulk方式批量导入到es中，也可以一条一条的导入，不过比较慢。 org.elasticsearch elasticsearch 6.4.0 org.elasticsearch.client elasticsearch-rest-high-level-client 6.4.0 org.elasticsearch.client transport 6.4.0 org.apache.kafka kafka-clients 0.10.1.0
kafka数据同步Elasticsearch深入详解
热门推荐
铭毅天下Elasticsearch
12-21 2万+
1、kafka同步到Elasticsearch方式？目前已知常用的方式有四种： 1）logstash_input_kafka插件； 缺点：不稳定（ES中文社区讨论） 2）spark stream同步； 缺点：太庞大 3）kafka connector同步； 4）自写程序读取、解析、写入 本文主要基于kafka connector实现kafka到Elasticsearch全量、增量同
Elasticsearch与Kafka集成：实现数据流处理
最新发布
Dxy1239310216的博客
06-15 910
Elasticsearch是一个基于Lucene的搜索和分析引擎，它提供了一个分布式、多租户能力的全文搜索引擎，具有HTTP Web界面和无模式JSON文档。Elasticsearch以其可扩展性、易用性和对海量数据的处理能力而闻名，是许多大型企业和项目的首选数据存储和搜索解决方案。Apache Kafka是一个分布式流处理平台，由LinkedIn公司开发和维护。它允许发布和订阅记录流，类似于消息队列或企业消息系统。
Java数据同步Kafka_Kafka 数据同步
weixin_36022526的博客
03-03 1054
复制原理Kafka中Topic的每个Partition有一个预写式的日志文件，虽然Partition可以继续细分为若干个Segment File，但是对于上层应用来说可以将Partition看成最小的存储单元(一个含有多个Segment文件拼接的“巨型”文件)，每个Partition都由不可变的消息组成，这些消息被连续的追加到Partition中。为了提高消息的可靠性，Kafka中每个Topic的...
kafka同步数据到ES（nginx filebeat kafka es）
victory0508的专栏
12-20 4375
安装配置 nginx 步骤1 安装 nginx: yum -y install nginx 步骤2 修改 nginx 配置文件中的日志格式: vim /etc/nginx/nginx.conf 设置日志打印格式如下： log_format main '[\"$remote_addr\",\"$remote_user\",\"$time_iso8601\",\"$request\"' ',\"$status\",\"$body_bytes_sent\",\"$http_referer\"' ',\"$h..
centos logstash监听kafka数据同步ES
weixin_39417505的博客
07-28 433
官网和网盘（6.8）都可以，注意版本，配合es版本进行选下，我的es是6.8的，所以logstash也是选择了6.8的版本，否则会出现同步数据失败的情况。document_id=>"%{id}"#es的_id可以根据业务写入kafka中json里的id参数识别。链接https//pan.baidu.com/s/1Vbdl-WvakJNY61J3XPkddA提取码6pmv。filter、out都可以写多个，可以根据kafka中读到数据的某个参数进行识别判断，方便业务处理。...
kafka_ex：Elixir的Kafka客户端库
02-05
**Kafka_ex：Elixir的Kafka客户端库** 在分布式系统和实时数据处理领域，Apache Kafka已经成为一个不可或缺的组件。它是一种高吞吐量、低延迟的消息队列系统，广泛用于构建实时数据管道和流应用。而`kafka_ex`是...
ansible-apps_kafka_exporter:Kafka Prometheus Exporter通过Ansible安装
05-10
角色变量名称默认值描述kafka_exporter_version 1.2.0 kafka_exporter版本kafka_exporter_temp_dir / tmp 临时目录以解压缩包kafka_exporter_install_dir / usr / local / bin 安装二进制文件的目录kafka_exporter_...
kafka_exporter:卡夫卡普罗米修斯出口商
04-28
kafka_exporter Kafka普罗米修斯出口商。 有关Kafka的其他指标，请查看。 目录 运行二进制 运行Docker映像 标志笔记 指标 经纪人 话题 消费群体 格拉法纳仪表板 贡献 捐款 执照 兼容性 支持Apache Kafka版本0.10....
teraslice_kafka_reader:Teraslice阅读器，用于处理来自kafka主题的数据。 不推荐使用-使用kafka_assets
05-13
最小的ñ 联系Kafka消费者连接使用ÿ 尺寸切片被视为完整之前要读取多少条记录10000 ñ 等待等待一整块数据可用多长时间。 以毫秒为单位。 30000 ñ 间隔尝试消耗记录size数量的频率。 仅当初始消耗无法获得完整的...
kafka_fdw:用于postresql的kafka外部数据库包装器
05-07
用于PostgreSQLKafka外部数据包装器 目前，该项目尚未准备就绪。 小心使用。 拉请求欢迎 Kafka的简单外部数据包装器，可以将其视为表。 当前，kafka_fdw允许以csv和json格式解析消息。 将来的发行版中可能还会有更...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
从Kafka中批量拉去数据，然后批量更新到es里。一次拉取的数量可以设置，现在是10000，轻松运转，更新到es内部也是，目标是百万日志秒处理
springboot整合kafka和mongodb
qq_38410795冰淇淋的博客
11-25 599
第一步： 添加kafka和mongodb的架包 (kafka版本根据自己的spring版本去匹配，mongodbd的架包跟据springboot的版本匹配，maven版本匹配地址https://mvnrepository.com/) 第二步： 下载kafka地址：http://kafka.apache.org/downloads（新版kafka包含zookeeper，不用再下载zookeeper） 第二步：解压后在安装目录下启动zookeeper和kafka 启动zookeeper和
SpringBoot+kafka+ES实现信息数据同步管理（下）
静风落叶的博客
02-11 2468
上一篇文章主要介绍了项目的整体结构，这篇文章展示具体结构的实现 一、项目版本 SpringBoot 2.1.23 ES：6.7 引入jar <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-client</artifactId> &...
kafka java es,kafka2x-Elasticsearch 数据同步工具demo
weixin_39576104的博客
03-12 109
Bboss is a good elasticsearch Java rest client. It operates and accesses elasticsearch in a way similar to mybatis.BBoss Environmental requirementsJDK requirement: JDK 1.7+Elasticsearch version requir...
基于Kafka Debezium Confluent实现MySql实时同步到ES
zj007ok的专栏
04-27 1893
实现目标 基于MySql的Binlog实现Mysql表实时同步到ES。 实现方案 1、总体技术方案基于Kafka的Connect技术。具体技术内容，不做介绍，网上有相关文章，本文章主要解决如何配置，因为网上大部分配置都是只能简单运行，只能插入，不能实现数据按照主键进行更新和删除同步的。 2、基于debezium的MySqlConnecto...
Kafka必须掌握的核心技术：java线程同步的四种方式
m0_57472099的博客
07-06 90
20个二叉树面试高频 0. 几个概念 1. 求二叉树中的节点个数 2. 求二叉树的最大层数(最大深度) 3. 先序遍历/前序遍历 4. 中序遍历 5. 后序遍历 6. 分层遍历 7. 求二叉树第K层的节点个数 8. 求二叉树第K层的叶子节点个数 9. 判断两棵二叉树是否结构相同 10. 判断二叉树是不是平衡二叉树 11. 求二叉树的镜像 12. 求二叉树中两个节点的最低公共祖先节点 13. 求二叉树的直径 14. 由前序遍历序列和中序遍历序列重建二叉树 15. 判断二叉树是不是完全二叉树 16. 树的子结
java集群如何同步_Kafka 跨集群同步方案
weixin_33512578的博客
03-02 548
该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像。该工具通过Kafka consumer从源Kafka集群消费数据，然后通过一个内...
Kafka数据同步到kafka的几种方案（转）
seapeak007的博客
03-11 5081
转自：https://blog.csdn.net/tmaczt/article/details/115274144 背景： 针对老系统重构涉及业务系统众多，全链路部署测试环境耗时较长，于是有了kafka中间层集群之间数据同步的想法。 方案： 1、Kafka自带的镜像工具kafka-mirror-maker.sh MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。 step1:编写consumer-test.prope..
version: '3' services: zookeeper: image: wurstmeister/zookeeper:latest ports: - 12181:2181 container_name: zookeeper tty: true restart: alwaysversion: '3' services: kafka01: image: wurstmeister/kafka:latest ports: - 19092:9092 environment: - KAFKA_BROKER_ID=0 - KAFKA_ZOOKEEPER_CONNECT=192.168.233.129:12181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.233.129:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 tty: true restart: always 这两天帮我整合在一起
07-12
- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka01:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 depends_on: - zookeeper tty: ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值