kafka-connect使用,fileSource->fileSink及JdbcSource->elasticsearchSink使用

1)启动,cd到bin目录下执行命令

./confluent start
Starting zookeeper
zookeeper is [UP]
Starting kafka
kafka is [UP]
Starting schema-registry
schema-registry is [UP]
Starting kafka-rest
kafka-rest is [UP]
Starting connect
connect is [UP]

2)列出支持的连接

命令: ./confluent list connectors
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190802151622774.png)

3)bin目录下执行,将本地文件作为source源

执行此命令 : vim ../etc/kafka/connect-file-source.properties
修改成:
name=file-source
connector.class=FileStreamSource
tasks.max=1
file=test.txt
topic=connect-test

4)造测试数据,在bin目录下执行 :

$ for i in {1..3}; do echo "log line $i"; done > test.txt

5)加载数据源,bin目录下执行

命令:./confluent load file-source	#如果想卸载该数据源执行./confluent unload file-source

6)查看刚才加载的连接器

命令:./confluent status connectors
结果:
[
	"file-source"
]

7)查看具体连接器状态

	命令: ./confluent status file-source
	结果:
		{
		  "name": "file-source",
		  "connector": {
		    "state": "RUNNING",
		    "worker_id": "192.168.10.1:8083"
		  },
		  "tasks": [
		    {
		      "state": "RUNNING",
		      "id": 0,
		      "worker_id": "192.168.10.1:8083"
		    }
		  ]
		}

8)查看kafka topic下的消息

命令 :	./kafka-avro-console-consumer --bootstrap-server localhost:9092 --topic connect-test --from-beginning
结果:
    "log line 1"
	"log line 2"
    "log line 3"

9)使用fileSink写文件 ,修改配置文件

命令: vim  ../etc/kafka/connect-file-sink.properties
修改为:
	name=file-sink
	connector.class=FileStreamSink
	tasks.
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值