ELK7.9分析Nginx-waf模块日志

背景

       目前有一台腾讯云服务器，在公网上提供了web服务，使用的架构为LNMP，并且为了加固web服务的安全，安装了nginx的ngx_lua_waf模块，可以轻微阻挡一些SQL注入等其余web攻击，也开启了waf模块的日志记录功能。针对目前的一个情况，需要对waf模块的日志进行分析，定期检查web服务器是否存在潜在的危机，下面就跟着我的步骤一起来看一下，如何借助ELK日志分析平台对nginx的waf日志进行分析，并针对分析的结果做一些潜在危机处理的工作。

---

一、waf日志上传到ELK服务器

目前已经讲waf的日志传输到ELK服务器的/var/log/nginx/waf目录下，共有43天的日志数据

先来简单看一下waf模块的日志都是一些什么

[root@elk7 ~]# cat /var/log/nginx/waf/qiufeng5.cn_2020-07-28_sec.log
61.28.109.5 [2020-07-28 23:30:07] "GET qiufeng5.cn/?id=../etc/passwd" "-"  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" "\.\./"
61.28.109.5 [2020-07-28 23:30:28] "GET qiufeng5.cn/?id=../etc/passwd" "-"  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" "\.\./"

从这两条日志来看，waf模块日志是有一定格式的，所以我们可以根据日志格式编写正则表达式了

---

二、Logstash过滤waf日志

[root@elk7 ~]# vim /etc/logstash/conf.d/nginx-waf.conf 

input {
	file {
		path => [ "/var/log/nginx/waf/*.log" ]
        	add_field => { "tags" => "nginx-waf" }
        	start_position => "beginning"
		#sincedb_path => "/dev/null"
    	}
}

filter {
	if "nginx-waf" in [tags] {
		grok {
			match => [ "message", "%{IP:client_ip}\s+\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\"(?:%{WORD:client_mode} %{NOTSPACE:request_url})\"\s+\"(%{USER:user}|)\"\s+\"%{GREEDYDATA:user_agent}\"\s+\"(?<touch_rule>.*)\"" ]
			match => [ "message", "%{IP:client_ip}\s+\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\"(?:%{WORD:client_mode} %{NOTSPACE:request_url})\"\s+(\"|)\"((?<post_str>.*)|-)\"\s+\"%{GREEDYDATA:user_agent}\"\s+\"(?<touch_rule>.*)\"" ]
		}
		date {
                   timezone => "Asia/Shanghai"
			match => ["timestamp", "yyyy-MM-dd HH:mm:ss"]
			target => "@timestamp"
			remove_field => "timestamp"
		}
		geoip {
                        source => "client_ip"
                        target => "geoip"
                        database =>"/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-filter-geoip-6.0.3-java/vendor/GeoLite2-City.mmdb"
                        add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
                        add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
                }
	}
}

output {
        if "nginx-waf" in [tags] {
		elasticsearch {
            		hosts => ["10.1.1.1:9200"]
            		index => "logstash-nginx-waf-%{+YYYY.MM.dd}"
        	}
	}
}

日志经过logstash过滤后，形成以下有价值的字段：

• client_ip 访问者的公网IP
• @timestamp 访问网站时的时间
• client_mode 访问网站时使用的HTTP请求方式
• request_url 请求的页面资源（URL）
• user_agent 用什么浏览器终端访问网站
• touch_rule 触发了waf模块的什么内容，才会被拦截的
• geoip.city_name 访问者公网IP所在的城市 geoip.region_name 访问者公网IP所在的省份
• geoip.country_name 访问者公网IP所在的国家

三、Kibana分析日志