ELK 结构化message

首先   关于ElasticSearch

http://IP:端口/filebeat-6.1.1-2019.01.14/doc/_search

第一层    就是索引 可以理解为数据库 filebeat-6.1.1-2019.01.14

第二层    doc 在es中被称之为文档   可以理解为表     doc为表名      当然也可以是别的名字  反正就是表名称啦 

第三层    doc是表名   里面包含了很多条json字符串   每一条就可以理解为一条数据  logstash发送的数据就是这个东西   分割message时只要在filter进行正则匹配  那么kibana中就会出现相对应的属性

//查看所有索引     GET格式都可以在浏览器运行  别的则需要利用  curl了

(小技巧)在浏览器请求数据时  返回的是json字符串的话  则可以    1全部复制    F12=》console   在控制台中   var 变量名  = 刚刚的JSON串     2，直接输入刚刚丁一德变量名   就可以格式化查看对象数据
curl 'http://IP:端口`/_cat/indices?v'   
//根据Id查看文档信息
curl -X PUT -H "Content-Type:application/json" 'http://192.168.20.116:9200/filebeat-6.1.1-2019.01.14/doc/m4FSS2gBAorYQXjgN99s' -d '  
//查看所有文档信息
http://IP:端口/filebeat-6.1.1-2019.01.14/doc/_search
//删除索引
curl -X DELETE 'http://IP:端口/filebeat-6.1.1-2019.01.16?pretty'

找到logsrash的配置文件

添加filter    此处只是个实例    具体的正则需要根据业务调整

filter {
  grok {
    match => { "message" => "%{IP:client_id_address} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:http_response_time}" }
  }
}

测试日志数据

55.3.244.1 GET /index.html 15824 0.043