python操作elasticsearch

最新推荐文章于 2024-05-17 17:39:49 发布
最新推荐文章于 2024-05-17 17:39:49 发布
阅读量3k 收藏 22
点赞数 3
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014199409/article/details/107719057
版权

1、python 安装上elasticsearch 模块
2、
2.1 指定连接：

es = Elasticsearch(
    ['172.16.153.129:9200'],
    # 认证信息
    # http_auth=('elastic', 'changeme')
)

2.2 动态连接

es = Elasticsearch(
    ['esnode1:port', 'esnode2:port'],
    # 在做任何操作之前，先进行嗅探
    sniff_on_start=True,
    # 节点没有响应时，进行刷新，重新连接
    sniff_on_connection_fail=True,
    # 每 60 秒刷新一次
    sniffer_timeout=60
)

2.3 获取集群基本信息

In [39]: es.info()
Out[39]:
{'cluster_name': 'sharkyun',
 'cluster_uuid': 'rIt2U-unRuG0hJBt6BXxqw',
 'name': 'master',
 'tagline': 'You Know, for Search',
 'version': {'build_date': '2017-10-06T20:33:39.012Z',
  'build_hash': '1a2f265',
  'build_snapshot': False,
  'lucene_version': '6.6.1',
  'number': '5.6.3'}}

2.4 获取状态信息

In [41]: es.cluster.health()
Out[41]:
{'active_primary_shards': 6,
 'active_shards': 6,
 'active_shards_percent_as_number': 50.0,
 'cluster_name': 'sharkyun',
 'delayed_unassigned_shards': 0,
 'initializing_shards': 0,
 'number_of_data_nodes': 1,
 'number_of_in_flight_fetch': 0,
 'number_of_nodes': 1,
 'number_of_pending_tasks': 0,
 'relocating_shards': 0,
 'status': 'yellow',
 'task_max_waiting_in_queue_millis': 0,
 'timed_out': False,
 'unassigned_shards': 6}

2.5 查询请求

es = Elasticsearch(
        ['172.16.153.129:9200']
    )
    
response = es.search(
    index="logstash-2017.11.14", # 索引名
    body={             # 请求体
      "query": {       # 关键字，把查询语句给 query
          "bool": {    # 关键字，表示使用 filter 查询，没有匹配度
                "must": [      # 表示里面的条件必须匹配，多个匹配元素可以放在列表里
                    {
                        "match": {  # 关键字，表示需要匹配的元素
                            "TransId": '06100021650016153'   # TransId 是字段名， 06100021650016153 是此字段需要匹配到的值
                        }
                    },
                    {
                        "match": {
                            "Ds": '2017-05-06'
                        }
                    },
                    {
                        "match": {
                            "Gy": '2012020235'
                        }
                    }, ],
                 "must_not": {   # 关键字，表示查询的结果里必须不匹配里面的元素
                        "match": {  # 关键字
                            "message": "M("    # message 字段名，这个字段的值一般是查询到的结果内容体。这里的意思是，返回的结果里不能包含特殊字符 'M('
                        }
                 }
            }
        },
        
        # 下面是对返回的结果继续排序
        "sort": [{"@timestamp": {"order": "desc"}}],
        "from": start,  # 从匹配到的结果中的第几条数据开始返回，值是匹配到的数据的下标，从 0 开始
        "size": size    # 返回多少条数据
      }
)

得到返回的总条数：

total = res['hits']['total']

循环结果获取自己想要的总条数

res_dict={}
for hit in res['hits']['hits']:
    log_time = "%s|%s" % (hit['_source']['Ds'], hit['_source']['Us'])
    res_dict[log_time] = "%s|%s|%s|%s" % (hit['_source']['beat']['hostname'],hit['_source']['FileName'], hit['_source']['FileNum'],hit['_source']['Messager'])

单一字段查询

es = Elasticsearch(
        ['172.16.153.129:9200']
    )
s = Search(using=es,
    index="logstash-2017.11.14").filter("match",Gy='20160521491').query("match", TransId='06100021650016153').exclude("match", message="M(")
    
response = s.execute()

参数说明：

using  
    指明用那个已经连接的对象
query  
    接收的是查询体语句
exclude
    接收的是不匹配的字段 就像 must_not
    
filter
    接收的是过滤语句 ，过滤的条件意思是在返回结果中有这些条件的信息       

s.count()

常用查询例子：

{
  "query": {
    "filtered": {
      "filter": {
        "range": {
          "@timestamp": {
            "gt": "now-15m",
            "lt": "now"
          }
        }
      }
    }
  },
  "aggs": {
    "execute_time": {
      "avg": {
        "field": "upstream_time_ms"
      }
    }
  }
}
//当然你也可以直接将过滤器写在aggs里面
{
  "size": 0,
  "aggs": {
    "filtered_aggs": {
      "filter": {
        "range": {
          "@timestamp": {
            "gt": "now-15m",
            "lt": "now"
          }
        }
      },
      "aggs": {
        "execute_time": {
          "avg": {
            "field": "upstream_time_ms"
          }
        }
      }
    }
  }
}

cardinality 基数，比如计算uv
{
  "size": 0,
  "aggs": {
    "filtered_aggs": {
      "filter": {
        "range": {
          "@timestamp": {
            "gt": "now-15m",
            "lt": "now"
          }
        }
      },
      "aggs": {
        "ipv": {
          "cardinality": {
            "field": "ip"
          }
        }
      }
    }
  }
}

percentile_ranks 指定一个范围，有多少数据落在这里
{
  "size": 0,
  "query": {
    "filtered": {
      "filter": {
        "range": {
          "@timestamp": {
            "gt": "now-15m",
            "lt": "now"
          }
        }
      }
    }
  },
  "aggs": {
    "execute_time": {
      "percentile_ranks": {
        "field": "upstream_time_ms",
        "values": [
          50,
          160
        ]
      }
    }
  }
}

统计最近15分钟，不同的链接请求时间大小
{
  "size": 0,
  "query": {
    "filtered": {
      "filter": {
        "range": {
          "@timestamp": {
            "gt": "now-15m",
            "lt": "now"
          }
        }
      }
    }
  },
  "aggs": {
    "execute_time": {
      "terms": {
        "field": "uri"
      },
      "aggs": {
        "avg_time": {
          "avg": {
            "field": "upstream_time_ms"
          }
        }
      }
    }
  }
}

找出url响应最慢的前2名
{
  "size": 0,
  "query": {
    "filtered": {
      "filter": {
        "range": {
          "@timestamp": {
            "gt": "now-15m",
            "lt": "now"
          }
        }
      }
    }
  },
  "aggs": {
    "execute_time": {
      "terms": {
        "size": 2,
        "field": "uri",
        "order": {
          "avg_time": "desc"
        }
      },
      "aggs": {
        "avg_time": {
          "avg": {
            "field": "upstream_time_ms"
          }
        }
      }
    }
  }
}

pv 分时统计图（每小时一统计）
{
  "size":0,
  "fields":false,
  "aggs": {
    "execute_time": {
      "date_histogram": {
        "field": "@timestamp",
        "interval": "1h"
      }
    }
  }
}

term 和terms
body = {
    "query":{
        "term":{
            "name":"python"
        }
    }
}
# 查询name="python"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)termsbody = {    "query":{        "terms":{            "name":[                "python","android"            ]        }    }}# 搜索出name="python"或name="android"的所有数据es.search(index="my_index",doc_type="test_type",body=body)

match与multi_match
# match:匹配name包含python关键字的数据
body = {
    "query":{
        "match":{
            "name":"python"
        }
    }
}
# 查询name包含python关键字的数据
es.search(index="my_index",doc_type="test_type",body=body)


 multi_match:在name和addr里匹配包含深圳关键字的数据
 body = {
    "query":{
        "multi_match":{
            "query":"深圳",
            "fields":["name","addr"]
        }
    }
}
# 查询name和addr包含"深圳"关键字的数据
es.search(index="my_index",doc_type="test_type",body=body)

#idsbody = {
    "query":{
        "ids":{
            "type":"test_type",
            "values":[
                "1","2"
            ]
        }
    }
}
# 搜索出id为1或2d的所有数据
es.search(index="my_index",doc_type="test_type",body=body)


bool有3类查询关系，must(都满足),should(其中一个满足),must_not(都不满足)

body = {
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "name":"python"
                    }
                },
                {
                    "term":{
                        "age":18
                    }
                }
            ]
        }
    }
}
# 获取name="python"并且age=18的所有数据
es.search(index="my_index",doc_type="test_type",body=body)


body = {
    "query":{
        "range":{
            "age":{
                "gte":18,       # >=18
                "lte":30        # <=30
            }
        }
    }
}
# 查询18<=age<=30的所有数据
es.search(index="my_index",doc_type="test_type",body=body)


body = {
    "query":{
        "prefix":{
            "name":"p"
        }
    }
}
# 查询前缀为"赵"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)


body = {
    "query":{
        "wildcard":{
            "name":"*id"
        }
    }
}
# 查询name以id为后缀的所有数据
es.search(index="my_index",doc_type="test_type",body=body)


body = {
    "query":{
        "match_all":{}
    }
    "sort":{
        "age":{                 # 根据age字段升序排序
            "order":"asc"       # asc升序，desc降序
        }
    }
}



body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "min_age":{                 # 最小值的key
            "min":{                 # 最小
                "field":"age"       # 查询"age"的最小值
            }
        }
    }
}# 搜索所有数据，并获取age最小的值es.search(index="my_index",doc_type="test_type",body=body)


body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "max_age":{                 # 最大值的key
            "max":{                 # 最大
                "field":"age"       # 查询"age"的最大值
            }
        }
    }
}# 搜索所有数据，并获取age最大的值es.search(index="my_index",doc_type="test_type",body=body)



body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "sum_age":{                 # 和的key
            "sum":{                 # 和
                "field":"age"       # 获取所有age的和
            }
        }
    }
}# 搜索所有数据，并获取所有age的和es.search(index="my_index",doc_type="test_type",body=body)



body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "avg_age":{                 # 平均值的key
            "sum":{                 # 平均值
                "field":"age"       # 获取所有age的平均值
            }
        }
    }
}
# 搜索所有数据，获取所有age的平均值
es.search(index="my_index",doc_type="test_type",body=body)

相关知识来自：https://www.jianshu.com/p/462007422e65

影子浅笑
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python+elasticsearch集群基本使用
u014118698的博客
09-06 2391
python+elasticsearch集群 官方文档：https://elasticsearch-py.readthedocs.io/en/master/ 介绍 python提供了操作ElasticSearch 接口，因此要用python来操作ElasticSearch，首先要安装python的ElasticSearch包，用命令 pip install elasticsearch安装或下载安装...
Python 操作ES(elasticsearch-py)
sjzxlpp的博客
03-29 1万+
http://elasticsearch-py.readthedocs.io/en/master/
Elasticsearch：关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x
Elastic 中国社区官方博客
01-16 6013
Elasticsearch 是一个非常强大的搜索引擎，使用非常广泛。本文的重点是使用 Python 批量创建 Elasticsearch 文档。我们仅仅触及了 Elasticsearch 搜索查询的皮毛。我有专门的文章介绍 Elasticsearch的 基本查询和高级查询，用于搜索和分析。Elasticsearch 原生语言中使用的查询与 Python 中使用的查询相同。因此，当你掌握了Kibana中的原生查询后，你就可以在Python中自由使用了。
python 调用elasticsearch的几种不同方式
sinat_34233802的博客
03-09 4983
from elasticsearch import Elasticsearch from elasticsearch_dsl import Search,Q,scan es = Elasticsearch() 1、仿照kibana中的写法 q = {"query": {"match": {"name": "easy"}}} res = es.Search(body=q) #这中方式返回的结果和k...
python调用Elasticsearch接口
最新发布
nujnus9221的博客
05-17 970
是的，Elasticsearch 提供了官方的 Python 客户端，它允许你在 Python 应用程序中使用 Elasticsearch 的各种搜索语句。以下是如何使用。
使用Python操作ElasticSearch原来可以如此简单，发现了一个超好用的Python库
Python私教
12-02 1563
zapi_elastic_search python快速操作ElasticSearch的组件 项目地址：https://github.com/zhangdapeng520/zapi_elastic_search 一、快速入门案例 安装 pip install zapi_elastic_search 增删改查案例 # 使用python操作ElasticSearch from zapi_elastic_search import EsClient # 连接ES es = EsClient() print(e
Python 操作 ElasticSearch的完整代码
09-18
Python操作ElasticSearch是通过官方提供的`elasticsearch`库实现的，这个库为Python开发者提供了一个方便的接口来与ElasticSearch服务器进行交互。在开始之前，你需要确保已经正确安装了`elasticsearch`库，可以通过...
基于python操作ES实例详解
01-02
这篇文章主要介绍了基于python操作ES实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 安装 pip install elasticsearch5 # 安装对应版本的模块 创建ES...
python操作ElasticSearch.rar
01-04
Python操作ElasticSearch是将Python编程语言与Elasticsearch（简称ES）数据库相结合，实现对数据的高效管理和分析。Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，广泛应用于日志分析、信息检索、...
elasticsearch设置用户密码验证，并添加elasticsearch-head和kibana的配置及访问
藥師的博客
08-25 2768
打开elasticsearch-7.10.0\config\elasticsearch.yml。es预设了很多账户，在这里大概会让修改四个用户的密码，所以需要输入8次，密码最少六位。重新启动es，访问 ip：9200，出现弹出框就说明已经开启验证成功。打开 kibana下的config\kibana.yml。进入es的bin目录下，打开命令行，执行。成功登录进去就说明es已配置完成。es有默认的用户和密码。访问 ip:5601。
用Python搞定Elasticsearch开发实战
03-14
本教程旨在带领大家了解Elasticsearch的语法、安装。熟练使用Elasticsearch
基于Python操作ElasticSearch
【逸辰杳】的博客
12-23 3万+
环境依赖：　　Python：2.7 　　ES依赖包：pyelasticsearch 　　ElasticSearch：5.5.1 / 6.0.1 　　操作系统：Windows 10 / CentOS 7　本文主要就ES基本的CRUD操作做以归纳整理，ES官方对Python的依赖支持有很多，eg：pyelasticsearch、ESClient、elasticutils、pyes、rawes、Su
python下使用elasticsearch
xuweiling
12-22 3654
ElasticSearch（简称ES）是一个分布式、Restful的搜索及分析服务器，设计用于分布式计算；能够达到实时搜索，稳定，可靠，快速。
Elasticsearch上手——Python API的简单使用
weixin_33756418的博客
02-01 404
Python够直接，从它开始是个不错的选择。 Elasticsearch客户端列表：https://www.elastic.co/guide/en/elasticsearch/client/index.html Python API：https://www.elastic.co/guide/en/elasticsearch/clie...
python调用elasticsearch的常用命令
Doodlera的博客
06-16 493
调用Python中的elasticsearch库对ES进行操作。 1.安装 pip install elasticsearch 导入 from elasticsearch import Elasticsearch, helpers 3.连接 es = Elasticsearch(hosts=es_host,port=port,timeout=100) es.ping() #验证是否连接成功 4.操作 #创建索引，若存在即忽略 #指定建立的类型，所用分词器，是否建立索引等，即预先定义好字段 body =
Python-ElasticSearch，python对ES进行写入、更新、删除、搜索
热门推荐
u013429010的博客
08-16 6万+
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它，你需要编写 Java 程序，并在你的 java 程序里面直接集成 Lucene 包。 更坏的情况是，你需要对信息检索有一定程度的理解才能明...
Python操作Elasticsearch
fwj_ntu的博客
11-09 2033
Elasticsearch是一个基于Lucene的分布式搜索服务器。Lucene是一个非常优秀的全文搜索引擎，是Apache的顶级项目。在Lucene上面可以开发出各种全文搜索的应用。 1. 安装elasticsearch包 pip install elasticsearch就可以 2. 建立连接 比如，elasticsearch
ElasticSearch系列09：ElasticSearch2.4集群搭建
TURING.DT
04-26 1009
环境： 节点1 10.11.32.76 hadooptest76.bj 节点2 10.11.32.77 hadooptest77.bj 节点3 10.11.32.81 hadooptest81.bj java版本要求：最低1.7 下载地址： curl -L -O https://download.elastic.co/elasticsearch/release/org/elas
python操作Elasticsearch
11-10
利用Python操作Elasticsearch可以使用elasticsearch和elasticsearch-dsl这两个库，也可以使用更为简单的es-pandas库。其中，elasticsearch库提供了与Elasticsearch交互的低级接口，而elasticsearch-dsl库则提供了更...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值