一、logstash从kafka拉数据到本地
腾讯云的ckafka消息查询界面真的太反人类了,不仅要手动指定分区,每次查询还最多只显示20条消息。
input {
kafka {
bootstrap_servers => "XXX.XXX.XXX.XXXX:XXXX"
topics => ["xxxx"]
consumer_threads => 12
# 这个group_id不能和现有的重合,否则会和正在运行的同名group一起消费
group_id => "load_data"
decorate_events => true
auto_offset_reset => earliest // 从最早的消息开始拉
}
}
output {
file {
# 制定输出到文件,注意路径要双引号括起来
path => "/home/xxx/xxx/xxxx.data"
}
}