shell脚步向kafka发送消息_shell脚本并发数据到kafka topic

shell脚本并发数据到kafka topic

需求：

每秒发送大量数据到kafka，验证下游系统性能，数据中的时间戳要求为当前时间，可以之间采集系统当前时间替换文件中旧的时间戳，保证每次发送的数据都为最新时间。

利用kafka自带的脚本，将待发数据写入文件中，然后通过读取文件 方式，将数据批量发送到kafka task节点

#在kafka master 节点用户home 目录下创建data 目录

[root@node1 home]# mkdir data

#进入data目录

[root@node1 home]# cd data/

#将准备好的数据放入data目录中

[root@node1 data]# ls

batch1-1000.log batch2-1000.log batch-send.sh

#编写batch-send.sh 脚本

[root@node1 data]# vi batch-send.sh

shell content：

#!/bin/bash

#响应Ctrl+C中断

trap 'onCtrlC' INT

function onCtrlC () {

echo 'Ctrl+C is captured'

exit 1

}

#kafka及data所在目录

dataPath=/home/data

kafkaPath=/usr/local/kafka

#broker list

brokerlist=192.