python操作Elasticsearch

最新推荐文章于 2024-12-07 17:32:05 发布
最新推荐文章于 2024-12-07 17:32:05 发布
阅读量403 收藏 5
点赞数 2
分类专栏： Elasticsearch 文章标签： elasticsearch es python 索引 solr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangSummer/article/details/113870416
版权

Python操作Elasticsearch

文章目录

一、下载

ES下载有许多方式，例如win和linux，docker的es下载看这篇：传送门

二、创建连接

1. 指定连接

# -*- coding: utf-8 -*-
# @Auther:Summer
from elasticsearch import Elasticsearch


## 指定连接
es = Elasticsearch(
    ['127.0.0.1:9200'],
    # 认证信息
    # http_auth=('elastic', 'changeme')
)

2. 动态连接

# -*- coding: utf-8 -*-
# @Auther:Summer
from elasticsearch import Elasticsearch


## 动态连接
es = Elasticsearch(
    ['esnode1:port', 'esnode2:port'],
    # 在做任何操作之前，先进行嗅探
    sniff_on_start=True,
    # 节点没有响应时，进行刷新，重新连接
    sniff_on_connection_fail=True,
    # 每 60 秒刷新一次
    sniffer_timeout=60
)

三、_cat的使用

# -*- coding: utf-8 -*-
# @Auther:Summer
from elasticsearch import Elasticsearch


es = Elasticsearch(["127.0.0.1:9200"])

# 查看健康状况
print(es.cat.health())
# 结果： 1613725331 09:02:11 elasticsearch yellow 1 1 8 8 0 0 2 0 - 80.0%

# 查看所有索引
print(es.cat.indices())

# 查看所有节点
print(es.cat.nodes())
# 127.0.0.1 33 95 3 0.00 0.00 0.00 cdhilmrstw * 2df5b3cb139d

# 查看主节点
print(es.cat.master())
# ZEFpNCg7T3mM19HZX6rgbQ 127.0.0.1 127.0.0.1 2df5b3cb139d

四、查询操作

1. 查询全部：match_all

from elasticsearch import Elasticsearch

es = Elasticsearch(['127.0.0.1:9200'])

# 查询全部文档
body = {
	"query": {
		"match_all": {}
	}
}

# 执行检索功能
response = es.search(index="newbank", body=body)
# 打印检索返回信息
print(response)

2. 精准检索：match

索引条件：account_number为20的人

注意，因为查询的时候，主要是进行body部分的修改，因此其余部分省略了。

# 精确检索
body = {
	"query": {
		"match": {
			"account_number": "20"
		}
	}
}

3. 全文检索：match

索引条件：地址中包含mill的人

# 全文检索
body = {
  "query": {
    "match": {
      "address": "mill"
    }
  }
}

精准检索与全文检索的区别在于，精准检索一般是进行一些非text字段的查找，而全文检索则是用于查找text字段。

4. 短语匹配：match_phrase

索引条件：地址中包含mill road的人

# 短语匹配
body = {
  "query": {
    "match_phrase": {
      "address": "mill road"
    }
  }
}

短语匹配于其他的配的区别在于，短语匹配不会对需要匹配的词语进行分词，而是使用一整个进行匹配。

5. 多字段匹配：multi_match

索引条件：地址或者城市中包含mill的所有人

# 多字段匹配
body = {
  "query": {
    "multi_match": {
      "query": "mill",
      "fields": ["address","city"]
    }
  }
}

6. 复合查询：bool

bool有三种方式：must（必须），should（可以满足也可以不满足），must_not（必须不满足）

6-1 must

索引条件：地址包含mill并且是男性的所有人

# 复合查询
## must
body = {
  "query": {
    "bool": {
      "must": [
        {"match": {
          "address": "mill"
        }},
        {"match": {
            "gender": "M"
          }}
      ]
    }
  }
}
6-2 must_not

索引条件：地址包含mill并且年龄不是38的所有男性

## must_not
body = {
  "query": {
    "bool": {
      "must": [
        {"match": {
          "address": "mill"
        }},
        {"match": {
            "gender": "M"
          }}
      ],
      "must_not": [
        {"match": {
          "age": "38"
        }}
      ]
    }
  }
}
6-3 should

查询条件：查找地址中包含mill的年龄是不是38都行的所有男性

## should
body = {
  "query": {
    "bool": {
      "must": [
        {"match": {
          "address": "mill"
        }},
        {"match": {
            "gender": "M"
          }}
      ],
      "should": [
        {"match": {
          "age": "38"
        }}
      ]
    }
  }
}

7. 结果过滤：filter

这个条件并不会进行分值的评定。

索引条件：查询工资位于20000到30000的所有人

# filter
body = {
  "query": {
    "bool": {
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

8. 等于查询

term支持查询某个字段等于某个值这样的业务场景，而terms支持擦互相你某个字段等于多个值的场景

8-1 term
# term
body = {
  "query": {
    "term": {
      "balance": {
        "value": "32838"
      }
    }
  }
}
8-2 terms

索引条件：查询firstname为Nanette或Forbes的人

# terms
body = {
  "query": {
    "terms": {
      "firstname": [
        "Nanette",
        "Forbes"
      ]
    }
  }
}

9. 执行聚合：aggregations

索引条件：查出所有的年龄分布，并且这些年龄段中M的平均薪资和F的平均薪资，以及这个年龄段总体的平均薪资

body = {
  "query": {
    "match_all": {}
  },
  "aggs": {
    "aggAgg": {
      "terms": {
        "field": "age",
        "size": 100
      },
      "aggs": {
        "genderAgg": {
          "terms": {
            "field": "gender.keyword",
            "size": 10
          },
          "aggs": {
            "balanceAvg": {
              "avg": {
                "field": "balance"
              }
            }
          }
        },
        "ageBananceAvg":{
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  },
  "size": 0
}

10.切片式查询

form从第几条开始，size为查询的数据量

索引条件：查询从第10条开始的5条数据

body = {
  "query": {
    "match_all": {}
  }
  , "from": 10
  , "size": 5
}

11.排序：sort

索引条件：按照年龄降序查询所有的人

降序：desc。升序：asc（默认）

body = {
  "query": {
    "match_all": {}
  }
  , "sort":{
      "age": {
        "order": "desc"
      }
   }
}

如果需要对多个进行排序，可以使用列表。

索引条件：先对年龄进行升序，然后对收入进行降序

{
  "query": {
    "match_all": {}
  }
  , "sort": [
    {
      "age": {
        "order": "desc"
      }
    },{
      "account_number": {
        "order": "asc"
      }
    }
  ]
}

五、索引

1. 创建索引

# 创建索引
es.indices.create("index_name")

如果需要自定义mapping，则需要将mapping定义好后传递给body参数即可。

es.indices.create("index_name", body = mapping)

2. 删除索引

es.indices.delete("index_name")

3. 重建索引

因为ES不支持修改索引中的mapping，因此，如果想修改的话就只能进行重建，然后将原本的数据进行传入。其中，source_index为原索引，target_index为新的索引。

from elasticsearch import helpers

body = {"query": {"match_all": {}}}
helpers.reindex(client=es,
                source_index="old_index_name",
                target_index="new_index_name",
                target_client=es,
                query=body)

4. 查看索引

# 查看所有索引
indexs = es.indices.get("*")

# 查看es中索引的索引名
index_name = indexs.keys()

# 查看某个索引
index = es.indices.get("index_name")

5. 判断某个索引是否存在

# 判断某个索引是否存在
es.indices.exists("index_name")

六、删除操作

先根据查询语句查询数据，然后使用delete_by_query删除查到的数据

例如：删除地址包含mill的数据

body = {
	"query": {
		"match": {
			"address": "mill"
		}
	}
}
es.delete_by_query(index="newbank", body=body)

或者使用delete方法，指定标识符删除

# 指定标识符删除
es.delete(index="newbank", id="pre_val")

七、映射

1. 查看映射

from elasticsearch import Elasticsearch

es = Elasticsearch(["127.0.0.1:9200"])

# 查看索引的映射
response = es.indices.get_mapping(index="newbank")

print(response)

2. 查看某个字段的映射

response = es.indices.get_field_mapping(fields="address", index="newbank")

3. 添加映射

# 添加映射
body = {
  "properties": {
    "email":{
      "type": "keyword",
    }
  }
}
es.indices.put_mapping(body=body, index="new_index")

八、分词

# -*- coding: utf-8 -*-
# @Auther:Summer
from elasticsearch import Elasticsearch
from elasticsearch import helpers

es = Elasticsearch(["127.0.0.1:9200"])


# 使用普通的分词器进行分词
body = {
    "analyzer":"standard",
    "text":"我是中国人"
}

# 使用ik分词
body = {
    "analyzer":"ik_smart",
    "text":"我是中国人"
}
print(es.indices.analyze(body=body))
python 项目中使用Elasticsearch
cesske的博客
09-23 1038
在Python项目中使用Elasticsearch，你通常会通过Elasticsearch的官方客户端库来实现与Elasticsearch集群的交互。这里，我将介绍如何使用elasticsearch Python客户端（也叫做elasticsearch-py）来在Python项目中进行基本的操作，如索引文档、搜索文档、以及管理索引等。通过上面的步骤，你应该能够在你的Python项目中成功地使用Elasticsearch来索引、搜索和管理数据。
python操作elasticsearch
Python热爱者的博客
11-09 2791
一、基本查询 from elasticsearch import Elasticsearch # 建立连接 es = Elasticsearch( hosts={'192.168.0.120', '192.168.0.153'}, # 地址 timeout=3600 # 超时时间 ) es.search(index='pv23') # index：选择数据库 此方法是默认查询，由于没有任何筛选条件，会默认显示前10条数据的所有信息 二、filter_path 添加过滤路径。通
Python连接和操作Elasticsearch详细指南
最新发布
CoderJia的学习之路
12-07 7837
Elasticsearch 是一个强大的搜索引擎，广泛应用于数据存储和搜索场景。通过 Python，我们可以方便地与 Elasticsearch 进行交互。本文将详细介绍如何在本地使用 Python 连接到服务器上的 Elasticsearch，并进行基本的操作。
python操作ElasticSearch
weixin_42182448的博客
02-04 1万+
利用python操作ElasticSearch 利用python对ElasticSearch进行操作主要会涉及两个python库elasticsearch和elasticsearch-dsl。除此之外，还会一个更为简单的python库：es-pandas。 其中，elasticsearch-py是一个官方提供的elasticsearch python客户端库，它只是对elasticsearch的rest API接口做了一层简单的封装。相对于这个客户端库，官方还提供了相对高级的elasticsearch-ds
Python Elasticsearch api
老野的成长之路
02-15 3256
原文地址：http://www.cnblogs.com/letong/p/4749234.html 描述：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。下面介绍了利用Python API接口进行数据查询，方便其他系统的调用。     安装API 1 p
Python操作Elasticsearch
摘 月
09-25 1085
由上例的配置可以看到，各节点有一个共同的名字my_es1，但由于是本地环境，所以各节点的名字不能一致，我们分别启动它们，它们通过单播列表相互介绍，发现彼此，然后组成一个my_es1集群。节点名称是node1，监听本地9200端口，可以有权限成为主节点和读写磁盘（不写就是默认的）。节点名称是node4，监听本地9204端口，仅能读写磁盘而不能被选举为主节点。节点名称是node2，监听本地9202端口，可以有权限成为主节点和读写磁盘。节点名称是node3，监听本地9203端口，可以有权限成为主节点和读写磁盘。
Python 操作 ElasticSearch的完整代码
09-18
Python操作ElasticSearch是通过官方提供的`elasticsearch`库实现的，这个库为Python开发者提供了一个方便的接口来与ElasticSearch服务器进行交互。在开始之前，你需要确保已经正确安装了`elasticsearch`库，可以通过...
基于python操作ES实例详解
09-18
1. **操作Elasticsearch的意义**：掌握使用Python操作Elasticsearch的能力对于处理和分析大规模数据集尤为重要，尤其在日志分析、数据检索等方面。 2. **Python对Elasticsearch的支持**：Python提供了专门的库如`...
Python操作Elasticsearch处理timeout超时
09-16
Python作为一门广泛使用的编程语言，与Elasticsearch结合，能够方便地进行数据的索引、查询和管理。然而，在实际操作中，由于网络延迟、服务器负载或数据量过大，可能会遇到请求超时的问题。本文将详细介绍如何在...
python操作ElasticSearch-创建、插入、检索
GreatXiang888的博客
01-04 6828
文章目录1. 介绍ES2. 安装ES与打开2.1 安装2.2 打开3. 创建索引4. 插入数据5. 检索数据5.1 代码5.2 结果6. 下载7. 其他资料 1. 介绍ES 引用：Elasticsearch入门（一）：elasticsearc基础概念 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elas...
python 操作 Elasticsearch（一）
qq_40694671的博客
09-27 6534
python 操作 Elasticsearch（一） 1、python连接elasticsearch数据库 from elasticsearch import Elasticsearch from elasticsearch import helpers es = Elasticsearch(['你的elasticsearch的外网连接'], http_auth=('数据的用户名', '密码'))
python操作elasticsearch (一)
柒柒柒的博客
01-09 492
一、连接 from elasticsearch import Elasticsearch # elasticsearch集群服务器的地址 ES = ['localhost:9200'] # 创建es客户端 # sniff_on_start:启动前嗅探es集群服务器 sniff_on_connection_fail:es集群服务器结点连接异常时是否刷新es节点信息 sniffer_timeout:每多少秒刷新节点信息 es = Elasticsearch(ES, sniff_on_start=True,
Python 操作ES(elasticsearch-py)
热门推荐
sjzxlpp的博客
03-29 1万+
http://elasticsearch-py.readthedocs.io/en/master/
python操作Elasticsearch数据库
CSDN_of_ding的博客
07-17 1456
Elasticsearch（ES）,ES是一个开源的高扩展的分布式全站搜索引擎，是整个Elastic Stack技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。安装好ES之后，9200端口为浏览器访问的http协议restfu端口Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档。
使用Python操作ElasticSearch
.
03-27 297
使用Python操作ElasticSearch可以帮助我们很好地索引和搜索文档，以及执行其他各种数据操作。无论是开发人员还是数据科学家，都可以在Python中轻松实现复杂的Elasticsearch查询和数据操作。下面是一个简单的Python代码示例，用于创建一个名为“my_index”的索引，并定义了一个类型“my_type”。现在我们已经建立了一个索引，下面是一个Python代码示例，用于搜索“my_index”索引中包含“Python编程”关键字的文档。
用 python 操作 elasticsearch
weixin_39752185的博客
06-26 386
用python操作elasticsearchpython连接 elasticsearch 进行搜索python连接 elasticsearch 增加文档 python连接 elasticsearch 进行搜索 用 python 操作 elasticsearch 使用的第三方库是 elasticsearch from elasticsearch import Elasticsearch # host 是 ES 的主机IP，port 是 ES 的端口号 es = Elasticsearch([{'host':
Python操作ElasticSearch的全攻略：安装与实战
本文档详细介绍了如何使用Python操作ElasticSearch，一个强大的全文搜索引擎，特别是在处理大规模数据和实时分析方面非常有用。Python作为流行的编程语言，其官方库`elasticsearch`使得与ElasticSearch的交互变得...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值