Elasticsearch聚合查询【 查询统计攻击源IP前十所在的省份和城市】

最新推荐文章于 2024-08-05 18:37:53 发布
最新推荐文章于 2024-08-05 18:37:53 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 全文索引 文章标签： 全文索引
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianss3830983/article/details/88711360
版权
本文介绍了如何通过Elasticsearch的聚合查询功能，针对索引中的攻击源IP（src_ip）进行统计，获取排名前十的省份和城市信息。查询语句包括对src_ip和src_city、src_region字段的聚合操作，确保每个IP的省份和城市只返回一个值。
摘要由CSDN通过智能技术生成

业务需求：

需要从索引数据中查询，攻击源IP（src_ip）统计前十的所在地。

查询语句：

{
  "query": {
    "match_all": {}
  }
  ,"aggs": {
    "src_ip_city": {
      "terms": {
        "field": "src_ip",
        "size": 10
      }, 
      "aggs": {
        "city": {
          "terms": {
            "field": "src_city",
            "size": 1
          }
        }
      }
    }
    ,"src_ip_region": {
      "terms": {
        "field": "src_ip",
        "size": 10
      }, 
      "aggs": {

最低0.47元/天 解锁文章
暴走地水牛
关注
专栏目录
python中elasticsearch_dsl模块用法详解
m0_72557783的博客
09-20 1860
elasticsearch-dsl是基于elasticsearch-py封装实现的，提供了更简便的操作elasticsearch的方法。
ElasticSearch全文搜索引擎基础入门
java编程学习_java基础教程_booyzhang的博客
07-16 381
一、ES的介绍 1、ES概述 ES是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于RESTful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。 Lucene：Lucene本身就是一个搜索引擎的底层。 分布式：ES主要是为了突出他的横向扩展能力。 全文检索：将一段词语进行分词，并且将分出的单个词语统一的放到一个分词库中，在搜索时，根据关键字去分词库中检索，找到匹配的内容。（倒排索引） RESTful风格的WEB接口：操作ES很简单
Elasticsearch(023)：es常见的字段映射类型之IP类型
web15085599741的博客
04-01 3139
概念 es中拥有IP数据类型。一个ip字段可以索引/存储IPv4或 IPv6地址。 示例 我们先来看一个示例。 1、映射创建 PUT example PUT example/docs/_mapping { "properties":{ "id":{"type": "long"}, "browserName":{"type": "text"}, "ipAddr":{"type": "ip"}, "loginTime":{"type": "
ElasticSearch ip类型和geo_point类型小记
u013071014的博客
02-06 201
ES ip类型和geo_point类型使用简单记录
未授权访问漏洞系列详解
最新发布
Jz031212的博客
08-05 1588
而我们这章的主题Kibana担任视图层角色，拥有各种维度的查询和分析并使用图形化的界面展示存放在Elasticsearch中的数据。2.使用TLS认证修改docker swarm的认证方式，使用TLS认证:Overview Swarm with TLS 和 Configure DockerSwarm for TLS这两篇文档，说的是配置好TLS后，Docker CLl在发送命令到docker daemon之前，会首先发送它的证书，如果证书是由daemon信任的CA所签名的，才可以继续执行。
10. python-es-8.3.3-IP范围聚合ip_range
我的博客
08-29 1273
python-es-ip_range
python 通过Elasticsearch库操作ES获取 top数据
qq_42259275的博客
07-20 853
# -*- coding: utf-8 -*- import time from es_client import es_client from elasticsearch_dsl import Search import json import copy import sys import os reload(sys) sys.setdefaultencoding('utf8') # argvlist = sys.argv # print("读取ip路径：",argvlist[0]) # print.
通过 ip 查询归属地，要小心了！
民工哥的博客
04-03 177
戳下方名片，关注并星标！回复“1024”获取2TB学习资源！????体系化学习：运维工程师打怪升级进阶之路 4.0— 特色专栏—MySQL/PostgreSQL/MongoDBElasticSearch/Hadoop/RedisKubernetes/Docker/DevOpsKafka/RabbitMQ/Zookeeper监控平台/应用与服务/集群管理N...
ElasticSearch学习
饶一熊的博客
03-02 1468
文章目录ElasticSearch介绍引言es介绍es和solr倒排索引ElasticSearch安装安装ES&Kibanaelasticsearch启动不起来启动成功后测试安装ik分词器使用接口测试分词效果ElasticSearch核心ES组件近实时Cluster（集群)node(节点)ElasticSearch存储结构Index(索引-数据库)Type(类型-表)Document(文档-行)Field(字段-列)操作ES的RESTful语法索引的操作创建一个索引查看索引信息删除索引ES中Fiel
Java操作ElasticSearch相关内容
weixin_45892531的博客
08-11 891
Java连接ES 创建Maven工程 导入依赖 <dependencies> <!-- 1. elasticsearch--> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version&gt...
Elasticsearch：使用 GeoIP 丰富来自内部专用 IP 地址
Elastic 中国社区官方博客
09-16 1880
对于公共 IP，可以创建表来指定 IP 属于哪个城市的特定范围。但是，互联网的很大一部分是不同的。在世界上每个国家都有公司专用网络，其 IP 地址的格式为 10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16。这些 IP 地址往往没有有关地理位置的真实信息。因此，Elasticsearch 和 Logstash 中内置的 geoip 过滤器/处理器不适用于这些私有 IP。 Elasticsearch 和 Logstash 可以选择指定要使用的特定数据库文件（database
Elasticsearch：IP 数据类型及其搜索
Elastic 中国社区官方博客
09-10 4837
在使用 Elasticsearch 搜索 IP 地址时，我们可以把数据类型定义为 IP 数据类型。这样我们可以针对 IP 地址进行搜索。这种 IP 地址可以是 IPv4 或者是 IPv6 的形式。 现在假设我们导入一个如下的数据到 Elasticsearch 中： PUT my-index/_doc/1 { "ip_addr": "192.168.1.1" } 在没有定义数据类型的情况下， Elasticsearch 会把上面的字段 ip_add 映射到一个 text 及 keyword 的..
elasticsearch分组排序取top N
ASN_forever的博客
04-21 6741
背景 比如有一张通话记录表，里面有用户UID，电话号number，用户所属国家country，通话时长talktime几个主要字段。现在的需求是要获取平均通话时长最长的top 20个国家。 实现 先过滤掉一些不需要的数据，然后根据country分桶，在桶内求平均通话时长。最后根据每个桶的平均通话时长取top 20的桶。 GET talk-information-2020.04.21/_s...
ES 分页查询
zhou_fan_xi的博客
11-20 2282
from+size分页 按照一般的查询流程来说，如果我想查询前10条数据： 客户端请求发给某个节点 节点转发给个个分片，查询每个分片上的前10条 结果返回给节点，整合数据，提取前10条 返回给请求客户端 该分页方式可以通过from+size的方式来进行实现。 from定义了目标数据的偏移值，size定义当前返回的事件数目。 这种分页方式只适合少量数据，因为随from增大，查询的时间就...
【Elasticsearch】学习笔记-p5（搜索结果处理）
小皮皮LL的博客
11-19 977
文章目录搜索结果处理1.排序1.1 普通字段排序1.2 地理坐标排序2.分页2.1 基本的分页2.2 深度分页问题2.3 总结3.高亮3.1 高亮原理3.2 实现高亮4.总结 视频指路???? B站黑马微服务超级推荐！！ 搜索结果处理 1.排序 elasticsearch默认是根据相关度算分（_score）来排序，但是也支持自定义方式对搜索结果排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。 1.1 普通字段排序 keyword、数值、日期类型排序的语法基本一致。 语法：
ES分组聚合取数据top前十条
开心就好
09-21 1万+
public Response getTopUrl(CrashLogListReq req) { SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); QueryBuilder queryAll = QueryBuilders.matchAllQuery(); RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQu
es聚合查询之分组聚合，指定字段sum后，获取top10
m0_50008952的博客
12-02 4060
public void test02() throws IOException { //设置要查询的索引 SearchRequest request = new SearchRequest().indices("test01"); //构建搜索 SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); //添加搜索长度 sourceBu...
ES Kibana Dashbord统计图中展示boolean值
LiuLei_2015的博客
07-28 162
Dashbord中的统计图在设置Vertical axis（纵轴）的值时必须通过一个Formula（函数公式）的计算才能在统计图中展示，这是因为统计采样频率是与原始数据不同的。所以，针对一个统计间隔的数据，必须给出一个函数，求出一个值，作为统计值。然而这个函数统计的是唯一值的个数，这就很麻烦了。本来我们想观察true、false的变化趋势，结果看到的是**一个统计时间间隔（本文是10秒）**上，true\false的个数。这也还能理解，但是，当我们想统计一个boolean值时，就麻烦了。
ElasticSearch 最全详细使用教程
热门推荐
qq_40907977的博客
09-06 1万+
一、快速入门 查看集群的健康状况 http://localhost:9200/_cat http://localhost:9200/_cat/health?v 说明：v是用来要求在结果中返回表头 状态值说明 Green - everything is good (cluster is fully functional)，即最佳状态 Yellow - all data is available but some replicas are not yet allocated (cluster is fu
Elasticsearch聚合查询实现分页优化
总结来说，Elasticsearch的聚合后分页主要是通过在查询源构建器中设置`from`和`size`参数来实现的。在实际应用中，结合`bucket_sort`或在客户端处理分页结果可以进一步优化性能。同时，如果已知总页数，可以避免查询...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值