elk笔记19--es python api

最新推荐文章于 2024-04-17 12:00:59 发布
最新推荐文章于 2024-04-17 12:00:59 发布
阅读量849 收藏
点赞数
分类专栏： Bigdata 文章标签： es-py es python api es api
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011127242/article/details/110020682
版权

elk笔记19--es python api

elasticsearch-py 是es官方提供的低级客户端。其目标是为所有es相关的python 代码提供共同基础；因此，其尝试自由发布观点，切具备很好的扩展性。
es 官方也提供了一个高级的客户端库 elasticsearch-dsl ，其具有较多的限制范围，但是它是基于 elasticsearch-py 的一个更加 python 化的库。

本文基于 elasticsearch-py 介绍 es 常见的 python api，及其使用中的注意事项。

1 Elasticsearch

1.1 基础连接、写入、查询

#!/usr/bin/python
# -*- coding:utf-8 -*-
# refer https://elasticsearch-py.readthedocs.io/en/7.7.1/

from elasticsearch import Elasticsearch
import json
import datetime


def es_connect():
    # 单个节点，默认为9200
    # es = Elasticsearch(['10.120.75.103'])
    # es = Elasticsearch(['10.120.75.103:9200'])
    # es = Elasticsearch([{'host': '10.120.75.103', 'port': 9200}])
    # 多个节点
    # es = Elasticsearch(['10.120.75.103', '10.120.75.107'])
    # es = Elasticsearch(['10.120.75.103:9200', '10.120.75.107:9200'])
    # es = Elasticsearch([{'host': '10.120.75.103', 'port': 9200}, {'host': '10.120.75.107', 'port': 9200}])
    # 带认证节点, 增加 http_auth 选项， 等价于 curl -u elastic:elastic 10.120.75.102:9204
    es = Elasticsearch(['10.120.75.102:9204'], http_auth=('elastic', 'elastic'), timeout=30, max_retries=5)
    print('es_connect:')
    print(json.dumps(es.info()))


def es_index():
    es = Elasticsearch(['10.120.75.103:9201'])
    doc = {
        'author': 'kimchy',
        'text': 'Elasticsearch: cool. bonsai cool.',
        'timestamp': datetime.datetime.now(),
    }
    res = es.index(index="test-index", id=1, body=doc)
    print(res['result'])


def es_refresh():
    es = Elasticsearch(['10.120.75.103:9201'])
    res = es.indices.refresh(index="test-index")
    print(res)


def es_get():
    es = Elasticsearch(['10.120.75.103:9201'])
    # GET test-index/_doc/1
    res = es.get(index="test-index", id=1)
    print(res['_source'])


def es_search():
    es = Elasticsearch(['10.120.75.103:9201'])
    res = es.search(index="test-index", body={"query": {"match_all": {}}})
    print("Got %d Hits:" % res['hits']['total']['value'])
    for hit in res['hits']['hits']:
        print("%(timestamp)s %(author)s: %(text)s" % hit["_source"])


if __name__ == '__main__':
    es_connect()
    es_index()
    es_refresh()
    es_get()
    es_search()

纯命令式查询：
curl -XGET --header 'Content-Type: application/json' -u user:password 10.120.75.103:9201/platform_log/_count -d '{
        "query": {
            "bool": {
                "must": [
                  {"wildcard":{"hostname.keyword":{"value":"dds-tagging-sim-*"}}},
                  {"term":{"level.keyword":{"value":"ERROR"}}},
                  {"range":{"timestamp":{"gte":"now-30m","lte":"now"}}}
                ]
            }
        }
}'

1.2 通过 scroll api 拉取数据

es默认size最大值为10000，当数据过多的时候，直接search无法拉取所有数据，因此推荐使用scroll api来拉取数据；
以下为一个scroll api的案例，实际业务中只需要将过滤字段按需添加到 must、must_not、should、filter 中即可;

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
import traceback
import requests
import time
from base64 import b64encode

USER = 'elastic'
PWD = 'elastic'
URL = 'http://127.0.0.1:9200'

data = []

ONE_DAY = 24 * 3600 * 1000 #ms

def get_now_ms():
    ts = int(time.time() * 1000)
    return ts
    

def get_base64_str(str_text):
    str_user_pwd = b64encode(str_text.encode('ascii'))
    return str_user_pwd.decode('ascii')
    
    
def data_scroll(index, scroll_id, scroll_size='1m'):
    payload = {
        'scroll': scroll_size,
        'scroll_id': scroll_id
    }
    try:
        r = requests.post(URL + '/_search/scroll',
                          data=json.dumps(payload),
                          headers={"Content-Type": "application/json",'Authorization': 'Basic ' + get_base64_str(USER+':'+PWD)}, timeout=10)
        data.extend(r.json()['hits']['hits'])
        if r.json()['_scroll_id'] and r.json()['hits']['hits']:
            return data_scroll(index, r.json()['_scroll_id'], scroll_size)
        return
    except:
        traceback.print_exc()
        return


def get_data(index_name, time_start, time_end):
    payload = {
        "size": 1000,
        "version": True, "sort": [{"@timestamp": {"order": "asc", "unmapped_type": "boolean"}}],
        "query": {
            "bool": {
                "must": [
                    {
                        "match_all": {}
                    },
                    {
                        "range": {
                            "@timestamp": {
                                "gte": time_start,
                                "lte": time_end,
                                "format": "epoch_millis"
                            }
                        }
                    }
                ],
                "filter": [],
                "should": [],
                "must_not": []
            }
        }
    }
    url = URL+'/{}/_search?scroll=1m'.format(index_name)
    r = requests.post(url=url, data=json.dumps(payload), headers={"Content-Type": "application/json",'Authorization': 'Basic ' + get_base64_str(USER+':'+PWD)}, timeout=10)
    data.extend(r.json()['hits']['hits'])
    data_scroll(index_name, r.json()['_scroll_id'], '1m')
    with open('data.json', 'w') as f:
        f.write(json.dumps(data))
    print(len(data))


if __name__ == '__main__':
    time_end = get_now_ms()
    time_start = time_end - ONE_DAY
    get_data('k8s_test-*', time_start, time_end)

2 Indices

2.1 indices 基础创建、删除

es.indices 对应es api中indices目录，包括如下api：
Create index
Delete index
Get index
Index exists
Close index
Open index
Shrink index
Split index
Clone index
Rollover index
Freeze index
Unfreeze index
Resolve index
此处以create，delete，get 为案例加以说明，其它类似：

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
import json
import datetime


def es_create():
    es = Elasticsearch(['127.0.0.1:9200'], timeout=30, max_retries=5)
    ret = None
    if not es.indices.exists('test-index'):
        ret = es.indices.create('test-index')
    print(json.dumps(ret))


def es_get():
    # 此处get获取索引的整体信息
    es = Elasticsearch(['127.0.0.1:9200'], timeout=30, max_retries=5)
    ret = None
    ret = es.indices.get('test-index')
    print(json.dumps(ret))


def es_delete():
    es = Elasticsearch(['127.0.0.1:9200'], timeout=30, max_retries=5)
    ret = None
    if es.indices.exists('test-index'):
        ret = es.indices.delete('test-index')
    print(json.dumps(ret))


def es_index():
    es = Elasticsearch(['127.0.0.1:9200'])
    doc = {
        'author': 'kimchy',
        'text': 'Elasticsearch: cool. bonsai cool.',
        'timestamp': datetime.datetime.now(),
    }
    res = es.index(index="test-index", id=1, body=doc)
    print(res['result'])
    ret = es.count(index="test-index")
    print(json.dumps(ret))


if __name__ == '__main__':
    es_create()
    es_get()
    es_index()
    es_delete()

3 Ingest

es.ingest 中包含如下内容, 以下以put，get，delete为案例加以说明：
Put pipeline to add or update a pipeline
Get pipeline to return a specific pipeline
Delete pipeline to delete a pipeline
Simulate pipeline to simulate a call to a pipeline

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
import json
import datetime


def ingest_put():
    es = Elasticsearch(['127.0.0.1:9200'])
    body = {
        "description": "describe pipeline",
        "processors": [
            {
                "set": {
                    "field": "foo",
                    "value": "bar"
                }
            }
        ]
    }
    ret = es.ingest.put_pipeline(id='pipe01', body=body)
    print(json.dumps(ret))


def ingest_get():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.ingest.get_pipeline(id='pipe01')
    print(json.dumps(ret))


def ingest_delete():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.ingest.delete_pipeline(id='pipe01')
    print(json.dumps(ret))


if __name__ == '__main__':
    ingest_put()
    ingest_get()
    ingest_delete()

4 Cluster

es.cluster 中包含 如下常见设置：
Cluster allocation explain
Cluster get settings
Cluster health
Cluster reroute
Cluster state
Cluster stats
Cluster update settings
pending_tasks
此处以 allocation_explain、health、cget_settings、put_settings 加以说明。

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
from elasticsearch import RequestError
import json


def cluster_explain():
    es = Elasticsearch(['127.0.0.1:9200'])
    body = {}
    # 也可以指定 index，primary，shard 等3个参数;不指定默认返回第一个 unassigned 的shard
    try:
        ret = es.cluster.allocation_explain(body=body)
        print(json.dumps(ret))
    except RequestError as e:
        print(e)


def cluster_health():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.cluster.health()
    print(json.dumps(ret))


def cluster_get_settings():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.cluster.get_settings()
    print(json.dumps(ret))


def cluster_put_settings():
    es = Elasticsearch(['127.0.0.1:9200'])
    body = {"persistent": {"indices.recovery.max_bytes_per_sec": "50mb"}}
    # cluster settings 是部分更新的，put哪部分就更新哪部分
    ret = es.cluster.put_settings(body=body)
    print(json.dumps(ret))


if __name__ == '__main__':
    cluster_explain()
    cluster_health()
    cluster_get_settings()
    cluster_put_settings()

5 Nodes

es.nodes 中包含如下常见 api：
Nodes feature usage
Nodes hot threads
Nodes info
Nodes reload secure settings
Nodes stats
此处以为 hot_threads 和 info 加以说明：

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
import json
import datetime


def node_hot_threads():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.nodes.hot_threads()
    # 也可以指定 node_id 查看具体某个node的线程信息
    print(json.dumps(ret))


def node_info():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.nodes.info(node_id=None)
    print(json.dumps(ret))


if __name__ == '__main__':
    node_hot_threads()
    node_info()

6 Cat

es.cat 中包含如下常见 api：
cat aliases
cat allocation
cat anomaly detectors
cat count
cat data frame analytics
cat datafeeds
cat fielddata
cat health
cat indices
cat master
cat nodeattrs
cat nodes
cat pending tasks
cat plugins
cat recovery
cat repositories
cat shards
cat segments
cat snapshots
cat task management
cat templates
cat thread pool
cat trained model
cat transforms
大部分使用方法类似，此处以 alias、allocation、health 加以说明：

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
import json
import datetime


def cat_alias():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.cat.aliases()
    print(json.dumps(ret))


def cat_allocation():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.cat.allocation()
    # 查看节点磁盘、分片信息等
    print(json.dumps(ret))


def cat_health():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.cat.health()
    print(json.dumps(ret))


if __name__ == '__main__':
    cat_alias()
    cat_allocation()
    cat_health()

7 Snapshot

es.snapshot 中包含如下常见 api：
Put snapshot repository
Verify snapshot repository
Get snapshot repository
Delete snapshot repository
Clean up snapshot repository
Clone snapshot
Create snapshot
Get snapshot
Get snapshot status
Restore snapshot
Delete snapshot
此处以 snapshot 和 create加以说明，具体操作见笔者博文：elk笔记11–快照的使用

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
import json
import datetime


def snapshot_cleanup():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.snapshot.cleanup_repository(repository='my_repository')
    print(json.dumps(ret))


def snapshot_create():
    es = Elasticsearch(['127.0.0.1:9200'])
    body = None
    # body 可以填写具体 indices 和 include_global_state 等各类参数
    ret = es.snapshot.create(repository='my_repository', snapshot='test_index_20201127', body=body)
    print(json.dumps(ret))


if __name__ == '__main__':
    snapshot_cleanup()
    snapshot_create()

8 Tasks

es.tasks 中包含如下cancel、get、list 等常见 api：

#!/usr/bin/python
# -*- coding:utf-8 -*-

from elasticsearch import Elasticsearch
import json
import datetime


def task_cancel():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.tasks.cancel(task_id='oTUltX4IQMOUUVeiohTt8A:12345')
    print(json.dumps(ret))


def task_get():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.tasks.get()
    print(json.dumps(ret))


def task_list():
    es = Elasticsearch(['127.0.0.1:9200'])
    ret = es.tasks.list()
    print(json.dumps(ret))


if __name__ == '__main__':
    task_get()
    task_list()
    task_cancel()

9 说明

  1. 参考文档
    elasticsearch-py 官文
    Python Elasticsearch api
  2. 补充说明
    上述 api 列表有部分直接从 官方文档 elasticsearch/reference 的api 列表中复制的，存在部分和python api 功能不完全对应的现象，但是基本不影响使用 es py api。
昕光xg
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python操作es，数据入库
weixin_49131823的博客
12-31 468
如果你要删除单个文档，使用 es.delete 方法，指定索引和文档 ID。如果你要删除整个索引，使用 es.indices.delete 方法，指定要删除的索引名称。
Elasticsearch for python API模块化封装
weixin_30344995的博客
05-28 740
Elasticsearch for python API模块化封装 Elasticsearch for python API模块化封装 模块的具体功能 检测Elasticsearch节点是否畅通 查询Elasticsearch节点健康状态 查询包含的关键字的日志（展示前10条） 查询指定的索引下的数据，并且分页 输出所有日志(输出全部) 输出...
构建Python中的分布式日志系统：ELK与Fluentd的结合
最新发布
一键难忘的博客
04-17 3176
在现代软件开发中，日志系统是至关重要的组成部分。它们不仅用于故障排查和性能监控，还可以提供关键业务洞察。本文将介绍如何利用ELK（Elasticsearch、Logstash和Kibana）与Fluentd结合，构建一个高效的分布式日志系统，并提供Python案例代码来演示其用法。
python 实现elk接口获取数据
weixin_34061482的博客
08-29 2572
[root@ctum2A0703016 ~]# cat jiaoyihao.py #!/usr/bin/python2.7 -- coding:utf-8 -- from datetime import datetimefrom elasticsearch import Elasticsearchimport timeimport datetimeimport sysimport jsonimpo...
ELK日志分析系统的部署
weixin_67510296的博客
07-10 395
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。
记录一篇es的安装和数据迁移
11-18 503
确实源es的版本 目标需要安装和源一样的版本 版本查看： 192.168.1.85:9200 安装部署配置 官网连接：https://www.elastic.co/guide/en/elasticsearch/reference/5.1/_installation.html 3.1：安装java yum -y install java 3.2: 下载es包 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elast.
python-devops-course:关于Python DevOps课程的回购
05-25
8. **监控和日志管理**：课程可能会讲解如何使用Python库如Logstash、Elasticsearch和Kibana(ELK栈)来收集、存储和分析日志，以及如何设置警报和监控系统，确保服务的稳定性和可观察性。 9. **版本控制**：Git是...
Microservice-with-Python:Belajar后端dengan Python
03-27
10. **监控与日志**：使用Prometheus、Grafana进行性能监控，使用ELK Stack（Elasticsearch、Logstash、Kibana）或Jaeger进行日志收集和分析，帮助开发者追踪和诊断问题。 综上所述，"Microservice-with-Python...
谷粒商城项目笔记.zip
01-26
6. **数据分析与监控**：使用ELK Stack（Elasticsearch、Logstash、Kibana）进行日志分析，以及Prometheus、Grafana的使用，实现系统监控。 7. **持续集成/持续部署(CI/CD)**：Jenkins、GitLab CI/CD等工具的配置和...
品优购电商项目资料（案例笔记素材）
11-25
- 监控与日志：使用Prometheus、Grafana进行性能监控，ELK Stack（Elasticsearch、Logstash、Kibana）收集和分析系统日志。 7. **项目管理**： -敏捷开发：采用Scrum或Kanban方法进行项目管理，快速响应市场变化...
notes-everything:这是项目的一些知识注释
05-17
笔记 这是一些学习笔记可能是任何知识，这里我把笔记做了归类 ，全文使用 markdowwn 语法编辑，使用软件 vs code。 Nodejs Git VS Code Markdown gradle zabbix tomcat eclipse idea redis RabbitMQ emq json-server...
Python Elasticsearch api
老野的成长之路
02-15 3234
原文地址：http://www.cnblogs.com/letong/p/4749234.html 描述：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。下面介绍了利用Python API接口进行数据查询，方便其他系统的调用。     安装API 1 p
python elasticsearch_Python Elasticsearch API操作ES集群
weixin_39918588的博客
12-05 241
环境Centos 7.4Python 2.7Pip 2.7 MySQL-python 1.2.5 Elasticsearc 6.3.1Elasitcsearch6.3.2知识点调用Python Elasticsearh APIPython Mysqldb使用DSL查询与聚合Python 列表操作代码#!/usr/bin/env python# -*- coding: utf-8 -*-#minyt...
ElasticSearch 数据增删改实现
热门推荐
xsdxs的博客
06-03 5万+
前言 本文介绍 ElasticSearch 增加、删除、修改数据的使用示例。通过Restful 接口和 Python 实现。详细可参考官网资料：https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html
Elasticsearch Scroll (游标)API详解
kevin_xiang的专栏
02-21 8307
http://www.16php.com/archives/380 今天我们来探讨一下Elasticsearch Scroll API，在这之前我们先回顾一下数据库的知识。 1. 相关数据库知识（帮助理解） 传统数据库游标：游标（cursor）是系统为用户开设的一个数据缓冲区，存放SQL语句的执行结果。每个游标区都有一个名字,用户可以用SQL语句逐一从游标中获取记录，并赋
code总结——python连接es，利用scroll遍历查询
csdjia11的博客
05-24 7034
python利用scroll_id游标遍历查询es，并将所有查询结果写入txt #download all hits from index of es #use scroll_id from elasticsearch import Elasticsearch import json es=Elasticsearch(["localhost:9200"]) body={ "_...
Python 操作ES(elasticsearch-py)
sjzxlpp的博客
03-29 1万+
http://elasticsearch-py.readthedocs.io/en/master/
5.7 Python API（for Elasticsearch）
AbnerGong的博客
03-02 5284
5.7 Python API　原文链接　 翻译:AbnerGong概述(Overview)正式的初级(low-level)客户端。它的目标是为了所有的Elasticsearch相关的Python代码提供基础；为此(because of this)它尝试成为舆论自由的(opinion-free)以及非常容易扩展。完整文档请见 http://elasticsearch-py.rtfd.org/Elas
python实现requests访问接口，比如es接口
古月哲亭
03-21 1954
requests访问接口，涉及网页访问需要验证或者而是需要验证可通过添加headers
ELK日志归集 - 搭建及使用说明文档V1.0.docx
11-14
"ELK日志归集是一个用于管理和分析日志数据的解决方案，由Elastic Stack中的Elasticsearch、Logstash、Kibana（ELK）以及Filebeat组件构成。此文档详细介绍了如何搭建和使用ELK栈，特别是在日志归集中利用Filebeat和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

昕光xg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值