本文介绍了如何使用kafka-connect-elasticsearch将Kafka数据同步到Elasticsearch，包括源码地址、安装部署步骤和配置注意事项。在配置过程中，特别强调了如何处理数据转换问题，特别是当Kafka消息为字节流时，需要使用特定的converter将数据转换为JSON格式。此外，还提到了动态创建mapping的设置以及如何避免解析异常。
背景：
最近在尝试将kafka的数据同步到elasticsearch中，这就用到了confluent的kafka-connect-elasticsearch套件了。一套基于kafka connector思想的数据连接套件。
源码地址：
https://github.com/confluentinc/kafka-connect-elasticsearch
安装部署：
参考官方文档，当然，官方文档是too simple的。实际用的时候还是有些许地方要值得注意的。
手动部署：
1、将confluent-5.2.0-2.12.zip整个包下载下来，虽然比较大有500M+，但是里面的套件比较全面，以后要用到其他套件的话就不用单独下载了。
2、解压：unzip一下即可
3、修改配置：
3-1、etc/schema-registry/connect-avro-standalone.properties 主要确认一下 bootstrap.servers 是否配置正确
bootstrap.servers=xxx.xxx.xxx.xxx:9092
3-2、etc/kafka-connect-elasticsearch/quicks
最低0.47元/天 解锁文章
扫一扫
447
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
