所有的配置都采用图文的形式,希望小伙伴会喜欢^_^
环境准备:
kafka_2.11-1.0.1
elasticsearch-6.2.3
streamsets-datacollector-3.4.1
zookeeper-3.4.10
注意事项:
1、若只读取一个topic的数据,origins使用Kafka Consumer;若要同时读取多个topic,则使用Kafka Multitopic。
2、kafka若要实现读取历史数据,要添加auto.offset.reset=earliest
第一步.Origins: 配置Kafka,选择Kafka Consumer
第二步.Destinations配置:
错误消息写到kafka
最后,欢迎热爱技术的小伙伴加入我们的聊天群qq:852278138