Filebeat收集nginx日志到elasticsearch，最终在kibana做展示（二）

EFK

项目需求是要将 一天或15分钟内 搜索引擎抓取网站次数做个统计，并且 如 200 301 404 状态码 也要区分出来, 访问 404 报错的 url 也要截取出来

前期 收集数据 看这篇文章，点击跳转

收集数据完成之后，使用下面方法做展示

创建一个 仪表盘

点击 Dashboards (仪表盘) ，创建一个名为 UA 抓取次数 的仪表盘
进来之后，点击创建可视化

一、先创建 404 报错 及 访问的 url 页面。

在右边点击水平轴，将垂直条形图，改为表。

source.ip 的排名前10的值，选项如下

url 选项如下

在添加一个 url.original 的字段，直接拖拽即可

记录计数选项如下

还需要添加一下筛选条件

例如：http.response.status_code:404 AND source.ip:115.144.113.0/24
# http.response.status_code 这个是 状态码字段
# source.ip 这个是客户端 ip字段

然后保存并返回即可。

二、配置百度总抓取次数

继续创建可视化界面

水平轴这里直接选 筛选 ，然后将 source.ip 改为 115.144.113.0/24

保存并返回即可

三、配置百度抓取404次数

继续创建可视化界面

水平轴这里直接选 筛选 ，然后将筛选条件改为

http.response.status_code:404 AND source.ip 115.144.113.0/24

保存并返回即可

四、配置百度抓取 200 次数

继续创建可视化界面

水平轴这里直接选 筛选 ，然后将筛选条件改为

http.response.status_code:200 AND source.ip 115.144.113.0/24

保存并返回即可

五、配置百度抓取 非 200/404 次数

继续创建可视化界面

水平轴这里直接选 筛选 ，然后将筛选条件改为

source.ip:115.144.113.0/24 AND NOT (http.response.status_code:200 OR http.response.status_code:404)

保存并返回即可

展示：

六、统计所有访问 404 次数及url 地址

下面是 上面图片的小节。

七、统计所有 访问 404 次数总数

展示：