需求:logstash从kafka中消费数据,并通过udp转发出去。kafka中的日志格式为json,其中formatlog下面为需求数据,利用logstash提取formatlog里面的数。
logstash配置:
input { kafka {
bootstrap_servers => "192.168.149.101:9092" #这里可以是kafka集群,如"192.168.149.101:9092,192.168.149.102:9092,192.168.149.103:9092"
group_id => "host_log"
client_id => "logstash1" #注意,多台logstash实例消费同一个topics时,client_id需要指定不同的名字
auto_offset_reset => "latest"
topics => ["host"]
add_field => {"logs_type" => "host"}
codec => json { charset => "UTF-8" }
}
kafka {
bootstrap_servers => "192.168.149.101:9092"
group_id => "vpn_log"
client_id => "logstash1"
auto_offset_reset => "latest"
topics => ["vpn"]
add_field => {"logs_type" => "vpn"}
codec => json { charset => "UTF-8" }
}
}
filter { mutate {
remove_field => ["@version","host","@timestamp","type"] # 删除字段
replace => {"message" => "%{[formatlog]}"} #重写message,只保留json中的formatlog
}
}
output {
#stdout{}
if[logs_type] == "host" {
syslog {
appname => "host"
host => "127.0.0.1"
port => "8001"
protocol => "udp"
}
}
if[logs_type] == "vpn" {
syslog {
appname => "vpn"
host => "127.0.0.1"
port => "8002"
protocol => "udp"
}
}
}
说明: 以上配置中加入了group_id参数,group_id是一个的字符串,唯一标识一个group,具有相同group_id的consumer构成了一个consumer group,这样启动多个logstash进程,只需要保证group_id一致就能达到logstash高可用的目的,一个logstash挂掉同一Group内的logstash可以继续消费
注意事项:
多台logstash实例消费同一个topics时,需要保证kafka的分区不能只有一个,logstash的实例数不能大于kafka的分区数。
kafka查看服务端topics、consumer group状态命令
以下命令中使用的bootstrap–server(即broker)地址为: 192.168.149.101:9092
1、查看kafka topic列表,使用–list参数
在本地kafka客户端安装目录下执行以下命令:
bin/kafka-topics.sh --bootstrap-server 192.168.149.101:9092 --list
2、查看kafka特定topic的详情,使用–topic与–describe参数,如查看topics:vpn
bin/kafka-topics.sh --bootstrap-server 192.168.149.101:9092 --describe topics vpn
3、查看consumer group列表,使用–list参数
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.149.101:9092 --list
4、查看特定consumer group 详情,使用–group与–describe参数,如group_id:vpn_log
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.149.101:9092 --group vpn_log --describe
其中依次展示group名称、消费的topic名称、partition id、consumer group最后一次提交的offset、最后提交的生产消息offset、消费offset与生产offset之间的差值、当前消费topic-partition的group成员id.
5、消费
./bin/kafka-console-consumer.sh --bootstrap-server 192.168.149.101:9092 --topic vpn --from-beginning