Kafka应用实战——使用Kafka在文件之间传递数据

转载请注明出处:http://blog.csdn.net/dongdong9223/article/details/88579875
本文出自【我是干勾鱼的博客

Ingredient:

之前在Kafka应用实战——Kafka安装及简单使用讲解了Kafka的基本用法,今天来讲解一下使用Kafka在文件之间传递数据。

1 生成source内容

echo -e "foo\nbar" > test.txt

2 交互处理

> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

3 查看效果

more test.sink.txt

也可以:

tail -f test.sink.txt

或者查看topic的交互内容:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning

topic的交互结果如下:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}

4 无数据同步时的处理

如果发现并没有预期的同步效果,可能是offset发生了错误,这时候先将原有topic删除:

./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic connect-test

然后删除offset记录:

rm -rf /tmp/connect.offsets

然后再重新执行:

> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

5 参考

Step 7: Use Kafka Connect to import/export data

kafka connect 简单测试

发布了278 篇原创文章 · 获赞 425 · 访问量 160万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览