2 ELK收集nginx的json格式日志_elk 索引别名json格式(2)

                        '"up\_addr": "$upstream\_addr",'
                        '"up\_host": "$upstream\_http\_host",'
                        '"up\_resp\_time": "$upstream\_response\_time",'
                        '"request\_time": "$request\_time"'

’ }';
##再将日志引用改成json
access_log /var/log/nginx/access.log json;

2.清空nginx原先日志

[root@db01 ~]# > /var/log/nginx/access.log

3.重启nginx,使其配置文件生效

[root@db01 ~]# systemctl restart nginx

4.使用ab命令做模拟访问  
 也可以使用浏览器访问,手动生成访问日志

[root@db01 ~]# ab -n 100 -c 100 http://172.16.210.53/

5.查看日志  
 这时候,就能看见日志格式变成了json格式

[root@db01 ~]# tailf /var/log/nginx/access.log
{ “time_local”: “22/Jun/2020:08:53:21 +0800”, “remote_addr”: “172.16.210.53”, “referer”: “-”, “request”: “GET / HTTP/1.0”, “status”: 200, “bytes”: 4833, “agent”: “ApacheBench/2.3”, “x_forwarded”: “-”, “up_addr”: “-”,“up_host”: “-”,“up_resp_time”: “-”,“request_time”: “0.000” }

6.使用es-head查看是否建立索引  
 filebeat会收集数据,然后导出至elasticsearch  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114008582.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  
 7.修改filebeat配置文件

[root@db01 ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:

• type: log
  enabled: true
  paths:
  • /var/log/nginx/access.log
    ##添加这两行信息,使其能解析json格式的日志
    json.keys_under_root: true
    json.overwrite_keys: true

output.elasticsearch:
hosts: [“172.16.210.53:9200”]

8.重启filebeat

[root@db01 ~]# systemctl restart filebeat

9.回到kibana的web界面创建索引  
 点击management  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114029248.png)  
 点击Create index pattern


输入filebeat导出到elaticsearch的索引名字,再点击Next stup  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114036246.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  
 过滤选项名选择@timestamp再点击Create index pattern  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114042724.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  
 再点击Discover就能查看到创建的索引的数据了  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114048703.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  
 再点击小三角就能看到全部都是一一对应的json格式数据了  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114055941.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114102731.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  
 然后可以通过选择对应的字段名,来查看指定想要知道的信息  
 比如想查看访问的ip都有谁,见选择remote\_addr再点击add  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200701114109380.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3,size_16,color_FFFFFF,t_70)  


![img](https://img-blog.csdnimg.cn/img_convert/e438856049d29fe075c066e0f199d87f.png)
![img](https://img-blog.csdnimg.cn/img_convert/3cd2050d5661e51429c4320a88c917eb.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**



**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**