ElasticSearch查询实践（Python）

最新推荐文章于 2024-09-01 08:52:22 发布
最新推荐文章于 2024-09-01 08:52:22 发布
阅读量281 收藏
点赞数
分类专栏： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44484910/article/details/107622826
版权

ES原理简单介绍：

  1. 倒排索引（反向索引） ==> 根据内容的切词token指向整句的内容
  2. 分析 ==> 分词、词语标准化
  3. 相关性排序 ==> 检索词频率，反向索引词频率、字段长度准则
基本查询 （不安全 弃用）
  1. 根据文档ID
  curl -X GET 127.0.0.1:9200/articles/article/1
  curl -X GET 127.0.0.1:9200/articles/article/1?_source=title,user_id
  curl -X GET 127.0.0.1:9200/articles/article/1?_source=false
  1. 查询所有
curl -X GET 127.0.0.1：9200/articles/article/_search?_source=title,user_id/&pretty
  1. 分页
# from: 起始
# size: 每页数量
curl -X GET 127.0.0.1:9200/articles/article/_search?_source=title,user_id\&size=3
curl -X GET 127.0.0.1:9200/articles/article/_search?_source=title,user_id\&size=3\&from=10
  1. 全文检索
curl -X GET 127.0.0.1:9200/articles/article/_search?q=content:python%20web\&_source=title,article_id\&pretty
curl -X GET 127.0.0.1:9200/articles/article/_search?q=title:python%20web,content:python%20web\&_source=title,article_id\&pretty
curl -X GET 127.0.0.1:9200/articles/article/_search?q=_all:python%20web\&_source=title,article_id\&pretty
Query DSL (请求体查询)
match分词匹配
match_all匹配所有文档 。默认的查询方式
multi_match在多个字段上执行相同的 match 查询
range范围查询 （gt：大于、gte：大于等于、lt：小于、lte：小于等于）
term精确匹配
missingIS_NULL
existsOT IS_NULL
  1. 全文检索 match
curl -X GET 127.0.0.1:9200/articles/article/_search -d '
{
	'query':{
		'match':{
			'title': 'python web'
		}	
	}
}

curl -X GET 127.0.0.1:9200/articles/article/_search -d '
{
	'from': 0,
	'size': 5,
	'query':{
		'match':{
			'title': 'python web'
		}	
	}
}
  1. 短语搜索 match_pharse
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d'
 {
     "size": 5,
     "_source": ["article_id","title"],
     "query" : {
         "match_phrase" : {
             "_all" : "python web"
         }
     }
 }'
  1. 精确查找 term
  curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d'
 {
     "size": 5,
     "_source": ["article_id","title", "user_id"],
     "query" : {
         "term" : {
             "user_id" : 1
         }
     }
 }'
  1. 范围查找 range
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d'
{
     "size": 5,
     "_source": ["article_id","title", "user_id"],
     "query" : {
         "range" : {
             "article_id": { 
                 "gte": 3,
                 "lte": 5
             }
         }
     }
 }'
  1. 高亮搜索 highlight
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d '
 {
     "size":2,
     "_source": ["article_id", "title", "user_id"],
     "query": {
         "match": {
              "title": "python web 编程"
          }
      },
      "highlight":{
           "fields": {
               "title": {}
           }
      }
 }
 '

组合查询

must匹配
must_not不 匹配
should满足任意一条即可，会增加_score,用于修正得分
filter必须 匹配，不评分过滤器
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d '
{
  "_source": ["title", "user_id"],
  "query": {
      "bool": {
          "must": {
              "match": {
                  "title": "python web"
              }
          },
          "filter": {
              "term": {
                  "user_id": 2
              }
          }
      }
  }
}
'
  1. 排序
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d'
  {
      "size": 5,
      "_source": ["article_id","title"],
      "query" : {
          "match" : {
              "_all" : "python web"
          }
      },
      "sort": [
          { "create_time":  { "order": "desc" }},
          { "_score": { "order": "desc" }}
      ]
  }'
  1. boost 提升权重，优化排序
curl -X GET 127.0.0.1:9200/articles/article/_search?pretty -d'
  {
      "size": 5,
      "_source": ["article_id","title"],
      "query" : {
          "match" : {
              "title" : {
                  "query": "python web",
                  "boost": 4
              }
          }
      }
  }'
suggest查询详解

es为开发者提供了四种suggest模式：

  • Term suggester
  • Phrase Suggester
  • completion suggester
  • context suggester

Term Suggester 示例
只基于analyze过的单个term去提供建议，并不会考虑多个term之间的关系。API调用方只需为每个token挑选options里的词，组合在一起返回给用户前端即可。

{
    "from": 0,
    "size": 10,
    "_source": false,
    "suggest": {
        "text": "phtyon web",
        "word-phrase": {
            "phrase": {
                "field": "_all",
                "size": 1
            }
        }
    }
}'

Phrase Suggester 示例
Phrase suggester在Term suggester的基础上，会考量多个term之间的关系，比如是否同时出现在索引的原文里，相邻程度，以及词频等等。
Completion Suggester 示例
最后来谈一下Completion Suggester，它主要针对的应用场景就是"Auto Completion"。 此场景下用户每输入一个字符的时候，就需要即时发送一次查询请求到后端查找匹配项，在用户输入速度较高的情况下对后端响应速度要求比较苛刻。因此实现上它和前面两个Suggester采用了不同的数据结构，索引并非通过倒排来完成，而是将analyze过的数据编码成FST和索引一起存放。对于一个open状态的索引，FST会被ES整个装载到内存里的，进行前缀查找速度极快。但是FST只能用于前缀查找

{
    "suggest": {
        "title-suggest" : {
            "prefix" : "pyth", 
            "completion" : { 
                "field" : "suggest" 
            }
        }
    }
}
Python实践
pip install elasticsearch

from elasticsearch5 import Elasticsearch

# elasticsearch集群服务器的地址
ES = [
    '127.0.0.1:9200'
]

# 创建elasticsearch客户端
es = Elasticsearch(
    ES,
    # 启动前嗅探es集群服务器
    sniff_on_start=True,
    # es集群服务器结点连接异常时是否刷新es结点信息
    sniff_on_connection_fail=True,
    # 每60秒刷新结点信息
    sniffer_timeout=60
)

# 搜索使用方式

query = {
	'query': {
	        'bool': {
	            'must': [
	                {'match': {'_all': 'python web'}}
	            ],
	            'filter': [
	                {'term': {'status': 2}}
	            ]
	        }
	    }
}
ret = es.search(index='articles', doc_type='article', body=query)

# 接口视图实现  search.py

from flask_restful import Resource
from flask_restful.reqparse import RequestParser
from flask_restful import inputs
from flask import g, current_app
from redis.exceptions import RedisError

from . import constants
from cache import article as cache_article
from cache import user as cache_user
from models.user import Search
from models import db

class SearchResource(Resource):
    """
    搜索结果
    """
    def get(self):
        """
        获取搜索结果
        """
        qs_parser = RequestParser()
        qs_parser.add_argument('q', type=inputs.regex(r'^.{1,50}$'), required=True, location='args')
        qs_parser.add_argument('page', type=inputs.positive, required=False, location='args')
        qs_parser.add_argument('per_page', type=inputs.int_range(constants.DEFAULT_SEARCH_PER_PAGE_MIN, constants.DEFAULT_SEARCH_PER_PAGE_MAX, 'per_page'), required=False, location='args')
        args = qs_parser.parse_args()
        q = args.q
        page = 1 if args.page is None else args.page
        per_page = args.per_page if args.per_page else constants.DEFAULT_SEARCH_PER_PAGE_MIN

        # Search from Elasticsearch
        query = {
            'from': (page-1)*per_page,
            'size': per_page,
            '_source': False,
            'query': {
                'bool': {
                    'must': [
                        {'match': {'_all': q}}
                    ],
                    'filter': [
                        {'term': {'status': 2}}
                    ]
                }
            }
        }
        ret = current_app.es.search(index='articles', doc_type='article', body=query)

        total_count = ret['hits']['total']

        results = []

        hits = ret['hits']['hits']
        for result in hits:
            article_id = int(result['_id'])
            article = cache_article.ArticleInfoCache(article_id).get()
            if article:
                results.append(article)

        # Record user search history
        if g.user_id and page == 1:
            try:
                cache_user.UserSearchingHistoryStorage(g.user_id).save(q)
            except RedisError as e:
                current_app.logger.error(e)

        return {'total_count': total_count, 'page': page, 'per_page': per_page, 'results': results}


# constants.py
# 搜索结果分页默认每页数量 下限
DEFAULT_SEARCH_PER_PAGE_MIN = 10

# 搜索结果页默认每页数量 上限
DEFAULT_SEARCH_PER_PAGE_MAX = 50



# 添加ES新文章索引数据
doc = {
          'article_id': article.id,
          'user_id': article.user_id,
          'title': article.title,
          'content': article.content.content,
          'status': article.status,
          'create_time': article.ctime
      }
current_app.es.index(index='articles', doc_type='article', body=doc, id=article.id)

建议查询python 代码

class SuggestionResource(Resource):
    """
    联想建议
    """
    def get(self):
        """
        获取联想建议
        """
        qs_parser = RequestParser()
        qs_parser.add_argument('q', type=inputs.regex(r'^.{1,50}$'), required=True, location='args')
        args = qs_parser.parse_args()
        q = args.q

        # 先尝试自动补全建议查询
        query = {
            'from': 0,
            'size': 10,
            '_source': False,
            'suggest': {
                'word-completion': {
                    'prefix': q,
                    'completion': {
                        'field': 'suggest'
                    }
                }
            }
        }
        ret = current_app.es.search(index='completions', body=query)
        options = ret['suggest']['word-completion'][0]['options']

        # 如果没得到查询结果，进行纠错建议查询
        if not options:
            query = {
                'from': 0,
                'size': 10,
                '_source': False,
                'suggest': {
                    'text': q,
                    'word-phrase': {
                        'phrase': {
                            'field': '_all',
                            'size': 1
                        }
                    }
                }
            }
            ret = current_app.es.search(index='articles', doc_type='article', body=query)
            options = ret['suggest']['word-phrase'][0]['options']

        results = []
        for option in options:
            if option['text'] not in results:
                results.append(option['text'])

        return {'options': results}
D__pythoner
关注
专栏目录
基于Elasticsearch的企业信息查询优化实践
一个不靠谱的程序员
12-10 862
需求 基于elasticsearch基础的相关度查询，返回的结果往往不是我们想要的结果。精确率达不到要求。如何能做到让搜索引擎返回的结果就是我想要搜的，这是一个伪命题。elasticsearch官方说明： 通常，经过对策略字段应用权重提升，或通过对查询语句结构的调整来强调某个句子的重要性这些方法，就足以获得良好的结果。有时，如果 Lucene 基于词的 TF/IDF 模型不再满足评分需求（例如希望...
python中的Elasticsearch操作汇总
09-18
总的来说，Python中的Elasticsearch库提供了全面的API，涵盖索引创建、文档插入、查询、删除以及映射管理等操作。了解并熟练掌握这些基本操作，将有助于你在实际项目中更高效地使用Elasticsearch进行数据存储和检索...
elasticsearch python 简单实践
weixin_33834075的博客
12-16 135
1.创建索引 # -.- coding:utf-8 -.- from __future__ import print_function from pprint import pprint from elasticsearch import Elasticsearch es_hosts = ["192.168.9.119:9200"] index_name = "log" doc_type = "...
Flask-Elasticsearch 项目教程
最新发布
gitblog_01067的博客
09-01 788
Flask-Elasticsearch 项目教程 Flask-ElasticsearchFlask extension that provides simple integration with Elasticsearch项目地址:https://gitcode.com/gh_mirrors/fl/Flask-Elasticsearch 1. 项目的目录结构及介绍 Flask-Elasticse...
ES实践
浪舟子的博客
09-02 422
1.创建accounts索引库 PUT /accounts { "mappings": { "person": { "properties": { "user": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "i...
elasticsearch 查询实践
带文豪的零点时分
05-28 556
GET _search { "query": { "match_all": {} } } #查询所有 GET twitter/_search { "query":{ "match_all": {} } } PUT twitter/_doc/10 { "name":"test" } PUT twitter/article/10 { "name":"test" } #插入id自增 POST twitter/_doc { "name":"test" } GET
Flask实现ElasticSearch搜索
王大阳的博客
07-05 3393
# 引入Flask库 from flask import Flask, request from utils import elasticSearch import jsonify # 实例化，创建对象 app = Flask(__name__) # 设置路由 @app.route('/') # 定义视图函数 def index(): return 'Hello World, this is my first flask web app!' @app.route("/getEs/<qu
人工智能-项目实践-信息检索-elasticsearch-python+flask 检索系统
02-29
在本项目实践中，我们主要关注的是利用人工智能技术构建一个基于Elasticsearch、Python和Flask的信息检索系统。这个系统能够高效地对大量数据进行搜索，为用户提供快速且准确的查询结果。下面将详细介绍Elastic...
用Python搞定Elasticsearch开发实战
06-19
Python作为一门易学且功能强大的编程语言，被广泛用于与Elasticsearch的交互，提供了丰富的库和工具，使得开发者能够便捷地进行数据索引、查询、分析和可视化。下面，我们将深入探讨如何使用Python进行Elasticsearch...
elasticsearch python 查询的两种方法
09-18
在本文中，我们将深入探讨如何使用Python与Elasticsearch进行交互，特别关注查询操作的两种主要方法。Elasticsearch是一个强大的...通过不断实践和深入学习，你可以利用Elasticsearch和Python构建高效的数据处理系统。
python批量导入数据进Elasticsearch的实例
09-20
在本文中，使用了`elasticsearch`库，它是一个开源的Python客户端，用于与Elasticsearch集群进行交互。安装方式非常简单，可以通过pip命令直接安装，如下所示： ```python pip install elasticsearch ``` 然后，...
Elasticsearch_python使用文档
11-28
Elasticsearch_python使用文档,存储于此，便于二次查找 Elasticsearch_python使用文档,存储于此，便于二次查找 Elasticsearch_python使用文档,存储于此，便于二次查找
flask-elasticsearch:一个简单的 Flask 应用程序，用于使用古腾堡项目作为示例数据源进行全文搜索
06-06
烧瓶弹性搜索 一个简单的 Flask 应用程序，用于使用古腾堡项目作为示例数据源进行全文搜索。
flask-elasticsearch:具有 elasticsearch-dsl-py 集成的简单 Flask 应用程序
07-22
烧瓶弹性搜索 具有 elasticsearch-dsl-py 集成的简单 Flask 应用程序
推荐项目：Flask-Elasticsearch——无缝集成的强大搜索解决方案
gitblog_01127的博客
08-30 500
推荐项目：Flask-Elasticsearch——无缝集成的强大搜索解决方案 Flask-ElasticsearchFlask extension that provides simple integration with Elasticsearch项目地址:https://gitcode.com/gh_mirrors/fl/Flask-Elasticsearch 在当今大数据时代，高效、精准...
Flask-Elasticsearch 使用教程
gitblog_00431的博客
09-01 371
Flask-Elasticsearch 使用教程 Flask-ElasticsearchFlask extension that provides simple integration with Elasticsearch项目地址:https://gitcode.com/gh_mirrors/fl/Flask-Elasticsearch 1、项目介绍 Flask-Elasticsearch 是一...
使用flask实现基于elasticsearch的web端搜索功能
My Struggle
04-22 1536
概述 干这个远程实习也有一个月了，感觉还不错，一天200的薪资对于一个在校大学生来讲已经不低了。上一周，领导布置了这一周的新的任务。大致要求就是做一个web端的搜索页面，大致逻辑如下图所示： 首先呢，可以看到要求web端可以用flask也可以用streamlit，但我更熟悉flask，所以我用了flask写的。大致想法是先让用户选择上传文件的类型，是上传Pubmed ID，根据这个ID进行检索呢，还是上传关键字，根据这个key phrases来匹配title和abstract进行搜索。接着就是常规，
16 Flask mega-tutorial 第16章 全文搜索 Full-Text Search（Elasticsearch）
神是念着倒
08-27 1100
如需转载请注明出处。 win10 64位、Python 3.6.3、Notepad++、Chrome 67.0.3396.99（正式版本）（64 位） 注：作者编写时间2018-03-21，linux、python 3.5.2 以下内容均是加入自己的理解与增删，以记录学习过程。不限于翻译，部分不完全照搬作者Miguel Grinberg的博客，版权属于作者，感谢他提供免费学习的资料。 本章...
Elasticsearch技术深度解析与实践应用
Elasticsearch 提供了丰富的查询语言，如全文查询、布尔查询、范围查询、模糊和近似查询等。除了核心的搜索功能，Elasticsearch 还提供了分析工具，如聚合框架，可以用来进行数据统计、报表和图表生成等。 在实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值