单机Rsyslog+Kafka+logStash+ES架构日志系统搭建

Rsyslog
1.配置文件修改"/etc/rsyslog.conf"
配置文件中添加以下内容：

引入rsyslog的输入及输出模块

module(load=“omkafka”)
module(load=“imudp”)

#设置日志输出到kafka的ruleset（waf和fw日志两种）

ruleset(name=“kafka”) {
#日志转发kafka
action (
type=“omkafka”
template=“nginxAccessTemplate”
topic=“ngfw”
broker=“localhost:9092”
)
}

ruleset(name=“kafka_WAF”) {
#日志转发kafka
action (
type=“omkafka”
template=“nginxAccessTemplate”
topic=“WAF”
broker=“localhost:9092”
)
}

#设置日志输入规则
input(type=“imudp” port=“514” ruleset=“kafka”)
input(type=“imudp” port=“5514” ruleset=“kafka_WAF”)

2.重启rsyslog
systemctl restart rsyslog
Zookeeper
（kafka的使用依赖zk）
启动ZK
/cloudriver/zookeeper-3.4.6/bin/zkServer.sh start
或使用我们自己定义的脚本
/cloudriver/cr_bigdataframe_init/zookeeper/zookeeper_single_poweron_init.sh start
Kafka
启动kafka
Cd /cloudriver/kafka_2.10-0.9.0.1/bin/

bin/kafka-server-start.sh config/server.properties &
或使用我们自己的脚本
/cloudriver/cr_bigdataframe_init/kafka/kafka_single_poweron_init.sh start

创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ngfw
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic WAF

查看topic
./kafka-topics.sh --list --zookeeper localhost:2181

./kafka-console-producer.sh --broker-list localhost:2181 --topic ngfw

生产者命令
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic ngfw
消费者命令
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic ngfw --from-beginning

删除topic数据命令
kafka-topics.sh --delete --zookeeper localhost:2181 --topic ngfw

启动logstash

bin/logstash --path.data /root/data/ -f config/kfk2ES_ngfw.conf &