Kafka数据导入导出

java 专栏收录该内容
11 篇文章 0 订阅
用命令行方式读写 Kafka 玩玩还行,真正投入实际使用时,往往需要把数据导入到 Kafka 或导出 Kafka 数据到本地文件中。这里我们学习一下怎么实现这个功能。
 
先创建一个本地源数据文件:
 
命令行代码   收藏代码
  1. echo -e "foo\nbar" > test.txt  
 

然后我们启动一个独立(standalone)模式的连接:

 
命令行代码   收藏代码
  1. bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties &  
 

上述命令行指定了三个配置文件,一个是独立模式连接的配置文件,一个是导入数据相关的配置文件,最后一个是导出数据相关的配置文件。

这个命令执行的时候创建了一个独立模式的 Kafka 连接进程,进程中创建了两个连接:一个是源连接(对应 connect-file-source.properties 的配置信息),它从输入文件中逐行读取数据发布到 Kafka 主题上;另一个是读取连接(对应 connect-file-sink.properties 的配置信息),它从一个 Kafka 主题中读取数据写入到输出文件中。
test.sink.txt 文件是在 connect-file-sink.properties 中配置的输出文件,我们来查看一下这个文件:
 
命令行代码   收藏代码
  1. cat test.sink.txt   
  2. foo  
  3. bar  
 

看起来数据导出成功。我们通过消费者命令行可以看到连接导入 Kafka 主题上的数据:

 
命令行代码   收藏代码
  1. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning  
  2. {"schema":{"type":"string","optional":false},"payload":"foo"}  
  3. {"schema":{"type":"string","optional":false},"payload":"bar"}  
 

需要注意的是源连接会不断地把新增的源数据导入到 Kafka 主题中,比如我们这样追加一行数据到源数据文件:

 
命令行代码   收藏代码
  1. echo "Another line" >> test.txt  
 

在消费者命令行和导出数据文件中马上就出现了这一行。

  • 0
    点赞
  • 1
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值