kibana统计数据展示demo

最新推荐文章于 2024-06-19 07:00:00 发布
最新推荐文章于 2024-06-19 07:00:00 发布
阅读量9.2k 收藏 3
点赞数 1
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25834767/article/details/88698836
版权

kibana统计数据展示demo

数据有了。想做一个报表出来,却又不知道该怎么做。恰好手头有一个合适的商业demo,扣过来学习学习借鉴借鉴
在这里插入图片描述
再往下：
在这里插入图片描述
接下来是每一个的实现部分：
主机威胁-统计：

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "2": {
      "date_histogram": {
        "field": "timestamp",
        "interval": "30m",
        "time_zone": "Asia/Shanghai",
        "min_doc_count": 1
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": []
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

主机威胁-源IP统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "2": {
      "terms": {
        "field": "src_ip",
        "size": 50,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": []
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

主机威胁-目的IP统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "2": {
      "terms": {
        "field": "dst_ip",
        "size": 50,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": []
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

威胁-类型统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "2": {
      "terms": {
        "field": "classtype",
        "size": 50,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": []
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

威胁-威胁严重性统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "2": {
      "terms": {
        "field": "severity",
        "size": 10,
        "order": {
          "_term": "desc"
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": []
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

主机威胁-协议统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "proto": {
              "query": "",
              "type": "phrase"
            }
          }
        }
      ]
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "3": {
      "terms": {
        "field": "proto",
        "size": 10,
        "order": {
          "_count": "desc"
        }
      },
      "aggs": {
        "2": {
          "terms": {
            "field": "app_proto",
            "size": 50,
            "order": {
              "_count": "desc"
            }
          }
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": [
              {
                "match": {
                  "proto": {
                    "query": "",
                    "type": "phrase"
                  }
                }
              }
            ]
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

主机威胁-目的端口统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "2": {
      "terms": {
        "field": "dst_port",
        "size": 50,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": []
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

主机威胁-威胁说明统计

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "query_string": {
            "analyze_wildcard": true,
            "query": "*"
          }
        },
        {
          "range": {
            "timestamp": {
              "gte": 1553011200000,
              "lte": 1553097599000,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "target": {
              "query": "",
              "type": "phrase"
            }
          }
        }
      ]
    }
  },
  "size": 0,
  "_source": {
    "excludes": []
  },
  "aggs": {
    "3": {
      "terms": {
        "field": "target",
        "size": 50,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "version": true,
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {
        "highlight_query": {
          "bool": {
            "must": [
              {
                "query_string": {
                  "query": "*",
                  "analyze_wildcard": true,
                  "all_fields": true
                }
              },
              {
                "query_string": {
                  "analyze_wildcard": true,
                  "query": "*",
                  "all_fields": true
                }
              },
              {
                "range": {
                  "timestamp": {
                    "gte": 1553011200000,
                    "lte": 1553097599000,
                    "format": "epoch_millis"
                  }
                }
              }
            ],
            "must_not": [
              {
                "match": {
                  "target": {
                    "query": "",
                    "type": "phrase"
                  }
                }
              }
            ]
          }
        }
      }
    },
    "fragment_size": 2147483647
  }
}

最后再来一条原生的日志：

{
  "_index": "host-threat-2019-03-20",
  "_type": "log",
  "_id": "AWmbEkhZShGDacnAdwJw",
  "_version": 1,
  "_score": null,
  "_source": {
    "conn": {
      "duration": "0.315865",
      "src_mac": "34:b3:54:cc:21:0c",
      "resp_bytes": "4032",
      "resp_pkts": "8",
      "orig_bytes": "1869",
      "conn_state": "Connection established and finished",
      "orig_pkts": "12",
      "dst_mac": "00:00:5e:00:01:10"
    },
    "kill_chain": "remote-control",
    "dst_ip_geoloc": "22.2833,114.15",
    "sub_category": "",
    "src_ip_city": "Beijing",
    "hostip": "10.253.1.172",
    "reliability": "",
    "classtype": "threat-intelligence-alarm",
    "dst_ip_country_code": "HK",
    "rid": "10180004",
    "interface": "em4",
    "uuid": "b2b12b34-abc7-40e1-b12b-34abc780e1ab",
    "dst_ip": "111.221.29.254",
    "src_ip": "10.253.107.70",
    "dst_service": "https",
    "hostname": "ATD",
    "dst_ip_city": "Hong Kong",
    "payload": "",
    "timestamp": "1553084857504",
    "severity": "4",
    "src_service": "",
    "dst_ip_country": "Hong Kong",
    "message": "",
    "app_proto": "ssl",
    "target": "111.221.29.254",
    "src_port": "49290",
    "engine_type": "intel",
    "src_ip_country_code": "CN",
    "proto": "tcp",
    "dst_port": "443",
    "src_ip_geoloc": "39.9047,116.4072",
    "src_ip_country": "China",
    "family": "criticalstack (malware)",
    "category": "outbound2malicious-server",
    "resp_data": "",
    "desc": "family:criticalstack (malware);proto:tcp;app_proto:ssl;"
  },
  "fields": {
    "timestamp": [
      1553084857504
    ]
  },
  "sort": [
    1553084857504
  ]
}

祝好

yib0y
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
西班牙风电数据.rar
02-22
标题 "西班牙风电数据.rar" 暗示了这个压缩包包含的是关于西班牙某地区风力发电厂的详细信息。这份数据集很可能用于分析和预测风电场的发电性能，结合多种环境因素，比如平均温度、最高最低温度、湿度、气温以及风力...
Kibana：Kibana 入门 （二）
Elastic 中国社区官方博客
02-07 4490
这篇文章是是上一篇文章 “Kibana：Kibana 入门 （一）” 的续篇。在阅读这篇文章之前，请先阅读上面的这篇文章。 下载数据并保存到 CSV 文件中 有时，你可能希望把你可视化中的数据进行导出。事实上，你甚至可以把你所有的 Lens 可视化里的数据都导出来并保存到 CSV 文件中。CSV 是一种以 , 分隔的值。你可以用你们所熟悉的工具进行打开并进行分析。 我们还是打开我们之前创建的 Flights Dashboard，并选中其中的一个可视化： 点击上面的 Download a.
kibana去重统计和分组统计
热门推荐
进击的小白
08-06 2万+
新建可视化统计 选择数据表格展现方式 选择数据源 去重统计 举例：这里统计的是24小时内，请求config路径返回401的手机号数量 数据筛选条件 数据时间段条件 Aggregation：统计类型，选择 unique Count，去重统计 Field： 统计字段，这里统计手机号 执行统计操作 显示统计结果 分组统计 举例：在上面的基础上，对请求版本字段进行分组 基于上面一个的手机号去重统计结果，也可以不需要。 分组统计指标 Aggregation：聚合类...
【DevOps】Kibana：数据可视化与探索的强大工具
最新发布
Coder加油站的专栏
06-19 3695
Kibana是一个开源的数据分析和可视化平台，由Elastic公司开发，它与Elasticsearch一起使用，为用户提供了一种直观的方式来探索、可视化和理解存储在Elasticsearch索引中的数据。Kibana能够将数据转换为有意义的图表、图形和地图，帮助用户更好地理解数据背后的故事，从而做出更明智的决策。
ElasticSearch 入门demo Kibana脚本操作
qq_27390107的博客
06-02 573
###################操作索引########################### #索引的增删-查 #PUT DELETE GET HEAD #添加 PUT myindex #删除索引 DELETE myindex #查询 GET myindex #关闭索引 不能添加 POST myindex/_close #开启索引 POST myindex/_open GET myindex ###################操作映射########################### #
kibana可视化统计_用户访问统计PV-IP-UV数据
运维打怪晋级之路
03-26 8847
kibana可视化统计_用户访问统计PV-IP-UV数据 准备 点击可视化->点击添加 新建一个可视化New Visualization->选择Data Table 选择索引如图： 默认有个总数就是PV数： 设置UV数： 设置IP数： ...
kibana工具 es 使用
槿之
06-06 6468
1、查询索引下文档总数 GET /index-province-gps/gps/_count { “query”:{“match_all”:{}} } 索引 （index）：index-province-gps 类型（type）：gps 查询总数执行_count 2、随机查询，默认查询10条 GET /index-province-gps/gps/_search { “query”:{“match...
ELK日志分析平台之kibana以及借助ELK平台实现网站访问量统计
letter_A的博客
09-03 6611
1.安装kibana： [root@server6 ~]# rpm -ivh kibana-4.5.1-1.x86_64.rpm Preparing... ########################################### [100%] 1:kibana ########################...
[elk]kibana绘图
quanqxj的博客
01-30 3830
近几日研究elk日志，做了一些图表，以供大家参考，望大家多提意见，多多指教。 统计请求页面访问量-top10 饼图统计请求状态码在HTTP状态码中的占比 饼图统计状态码所回应的请求页面分布图 饼图统计不同设备访问量 如果agent信息解析不够完整，可通过模糊匹配来统计设备访问量 5. 统计接口平均响应时间-top10 6. 柱状图统计响应时间范围内的访问量 7. 柱状图统计P...
Spanish Rail Tickets 西班牙高铁数据集.7z
07-13
《西班牙铁路票务数据分析》 西班牙的高铁系统以其高效、舒适而闻名，为方便研究者进行交通数据分析，The Gurus 提供了一项宝贵资源——"Spanish Rail Tickets 西班牙高铁数据集.7z"。这个数据集包含了丰富的信息，...
数据集 西班牙巴塞罗那-民宿信息和住客评价数据
11-05
数据集“西班牙巴塞罗那-民宿信息和住客评价数据”是一个丰富的资源，用于研究和分析巴塞罗那的民宿市场。这个数据集包含了多个关键领域的信息，可以帮助我们深入了解民宿行业的运作模式、客户偏好以及服务质量。...
kibana_data_set.zip
03-25
Kibana示例数据集：shakespeare.json、accounts.zip、logs.jsonl.gz
数据集 西班牙城市民宿信息和住客评价数据集
11-06
该数据集是关于西班牙城市民宿的信息集合，涵盖了巴塞罗那、马德里以及马略卡岛巴利阿里群岛三个著名旅游地点的房源数据。这个数据集对于研究和分析民宿市场，尤其是对旅游住宿行业的洞察非常有价值。它包含了以下几...
西班牙高速列车票价预测分析-数据分析实战数据集
01-21
近年来，我们国高铁的飞速发展相信大家都有目共睹。然而，在我们国家高铁的票价是国家规定的，一般都是一年四季不会改变的。然而国外与国内不同，它们的高铁票价...因此，本次挑战要求你对西班牙的高铁价格进行预测。
ES 实现数据库or查询效果
一起进步的博客
08-04 5235
如果想实现类似与mysql中的or 查询效果，必须使用should查询。但是shuold 会查询出不满足条件的数据 ，这必须加一个属性 "minimum_should_match": "1" 必须满足should条件中的一个查询条件 这样就能达到 or查询的结果了。"minimum_should_match": "1" 这个属性不能乱用，如果没有should查询的条件不要加个这个属性。这个查询满足的条件是 shortName的查询条件 或 code 查询条件的结果。should 非必须满足查询条件。...
kibana 统计数量_基于Python实现的系统SLA可用性统计 - quanbisen
weixin_39518530的博客
10-23 760
1. 介绍　　SLA是Service Level Agreement的英文缩写，也叫服务质量协议。根据SRE Google运维解密一书中的定义：　SLA是服务与用户之间的一个明确的，或者不明确的协议，描述了在达到或者没有达到SLO(Service Level Objective)之后的后果。　　SLO通常需要SLI(Service Level Indicator)去描述，系统常见的指标有吞吐量(每...
ELK技术栈—Kibana
sanmi8276的博客
01-29 561
原文作者：少年阿峣_从零单排 原文地址：Kibana介绍、安装和使用 目录 1、介绍 2、优势 3、安装 4、使用 5、X-pack插件 6、Kibana+X-Pack介绍使用 1、介绍 Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的...
elasticsearch7.5.1通过kibana去重统计和分组统计数据
书读百遍，其义自见
07-19 1780
elasticsearch 分组
西班牙风电数据csdn
09-14
西班牙风电数据是指西班牙国内关于风能发电的相关统计数据。西班牙是世界上风能发电行业非常发达的国家之一，通过不断投资和发展，该国的风电装机容量逐年增长。 根据最新的西班牙风电数据显示，该国的风力发电机组...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值