elasticsearch补全功能之只补全筛选后的部分数据context suggester

最新推荐文章于 2024-04-13 23:58:25 发布
最新推荐文章于 2024-04-13 23:58:25 发布
阅读量656 收藏 1
点赞数 2
文章标签： 大数据 python
原文链接：http://www.cnblogs.com/ALXPS/p/10238312.html
版权

官方文档https://www.elastic.co/guide/en/elasticsearch/reference/5.0/suggester-context.html

　　下面所有演示基于elasticsearch5.x和Python3.x

　　最近项目使用elasticsearch的补全功能时，需要对于所有文章(article)的作者名字(author)的搜索做补全，文章的mapping大致如下

ARTICLE = {
    'properties': {
        'id': {
            'type': 'integer',
            'index': 'not_analyzed',
        },
        'author': {
            'type': 'text',
        },
        'author_completion': {
            'type': 'completion',
        },
        'removed': {
            'type': 'boolean',
        }
    }
}

MAPPINGS = {
    'mappings': {
        'article': ARTICLE,
    }
}

　　现在的需求是，针对于下架状态removed为True的不做补全提示。

　　作为演示先插入部分数据，代码如下

　　

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from elasticsearch.helpers import bulk
from elasticsearch import Elasticsearch

ES_HOSTS = [{'host': 'localhost', 'port': 9200}, ]

ES = Elasticsearch(hosts=ES_HOSTS)

INDEX = 'test_article'
TYPE = 'article'

ARTICLE = {
    'properties': {
        'id': {
            'type': 'integer',
            'index': 'not_analyzed',
        },
        'author': {
            'type': 'text',
        },
        'author_completion': {
            'type': 'completion',
        },
        'removed': {
            'type': 'boolean',
        }
    }
}

MAPPINGS = {
    'mappings': {
        'article': ARTICLE,
    }
}


def create_index():
    """
    插入数据前创建对应的index
    """
    ES.indices.delete(index=INDEX, ignore=404)
    ES.indices.create(index=INDEX, body=MAPPINGS)


def insert_data():
    """
    添加测试数据
    :return: 
    """
    test_datas = [
        {
            'id': 1,
            'author': 'tom',
            'author_completion': 'tom',
            'removed': False
        },
        {
            'id': 2,
            'author': 'tom_cat',
            'author_completion': 'tom_cat',
            'removed': True
        },
        {
            'id': 3,
            'author': 'kitty',
            'author_completion': 'kitty',
            'removed': False
        },
        {
            'id': 4,
            'author': 'tomato',
            'author_completion': 'tomato',
            'removed': False
        },
    ]
    bulk_data = []
    for data in test_datas:
        action = {
            '_index': INDEX,
            '_type': TYPE,
            '_id': data.get('id'),
            '_source': data
        }
        bulk_data.append(action)

    success, failed = bulk(client=ES, actions=bulk_data, stats_only=True)

    print('success', success, 'failed', failed)


if __name__ == '__main__':
    create_index()
    insert_data()

　　成功插入4条测试数据，下面测试获取作者名称补全建议，代码如下

def get_suggestions(keywords):
    body = {
        # 'size': 0,  # 这里是不返回相关搜索结果的字段，如author,id等，作为测试这里返回
        '_source': 'suggest',
        'suggest': {
            'author_prefix_suggest': {
                'prefix': keywords,
                'completion': {
                    'field': 'author_completion',
                    'size': 10,
                }
            }
        },
        # 对于下架数据，我单纯的以为加上下面的筛选就行了
        'query': {
            'term': {
                'removed': False
            }
        }
    }
    suggest_data = ES.search(index=INDEX, doc_type=TYPE, body=body)
    return suggest_data


if __name__ == '__main__':
    # create_index()
    # insert_data()

    suggestions = get_suggestions('t')
    print(suggestions)
    """
    suggestions = {
        'took': 0,
        'timed_out': False,
        '_shards': {
            'total': 5,
            'successful': 5,
            'skipped': 0,
            'failed': 0
        },
        'hits': {
            'total': 3,
            'max_score': 0.6931472,
            'hits': [
                {'_index': 'test_article', '_type': 'article', '_id': '4', '_score': 0.6931472,
                 '_source': {}},
                {'_index': 'test_article', '_type': 'article', '_id': '1', '_score': 0.2876821,
                 '_source': {}},
                {'_index': 'test_article', '_type': 'article', '_id': '3', '_score': 0.2876821,
                 '_source': {}}]},
        'suggest': {
            'author_prefix_suggest': [{'text': 't', 'offset': 0, 'length': 1, 'options': [
                {'text': 'tom', '_index': 'test_article', '_type': 'article', '_id': '1', '_score': 1.0,
                 '_source': {}},
                {'text': 'tom_cat', '_index': 'test_article', '_type': 'article', '_id': '2', '_score': 1.0,
                 '_source': {}},
                {'text': 'tomato', '_index': 'test_article', '_type': 'article', '_id': '4', '_score': 1.0,
                 '_source': {}}]}]
        }
    }
    """

　　发现，removed为True的tom_cat赫然在列，明明加了

'query': {
            'term': {
                'removed': False
            }
        }

　　却没有起作用，难道elasticsearch不支持这种需求！？怎么可能……

 　　查阅文档发现解决方法为https://www.elastic.co/guide/en/elasticsearch/reference/5.0/suggester-context.html

　　找到问题所在，首先改造mapping，并重新录入测试数据如下

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from elasticsearch.helpers import bulk
from elasticsearch import Elasticsearch

ES_HOSTS = [{'host': 'localhost', 'port': 9200}, ]

ES = Elasticsearch(hosts=ES_HOSTS)

INDEX = 'test_article'
TYPE = 'article'

ARTICLE = {
    'properties': {
        'id': {
            'type': 'integer',
            'index': 'not_analyzed'
        },
        'author': {
            'type': 'text',
        },
        'author_completion': {
            'type': 'completion',
            'contexts': [  # 这里是关键所在
                {
                    'name': 'removed_tab',
                    'type': 'category',
                    'path': 'removed'
                }
            ]
        },
        'removed': {
            'type': 'boolean',
        }
    }
}

MAPPINGS = {
    'mappings': {
        'article': ARTICLE,
    }
}


def create_index():
    """
    插入数据前创建对应的index
    """
    ES.indices.delete(index=INDEX, ignore=404)
    ES.indices.create(index=INDEX, body=MAPPINGS)


def insert_data():
    """
    添加测试数据
    :return:
    """
    test_datas = [
        {
            'id': 1,
            'author': 'tom',
            'author_completion': 'tom',
            'removed': False
        },
        {
            'id': 2,
            'author': 'tom_cat',
            'author_completion': 'tom_cat',
            'removed': True
        },
        {
            'id': 3,
            'author': 'kitty',
            'author_completion': 'kitty',
            'removed': False
        },
        {
            'id': 4,
            'author': 'tomato',
            'author_completion': 'tomato',
            'removed': False
        },
    ]
    bulk_data = []
    for data in test_datas:
        action = {
            '_index': INDEX,
            '_type': TYPE,
            '_id': data.get('id'),
            '_source': data
        }
        bulk_data.append(action)

    success, failed = bulk(client=ES, actions=bulk_data, stats_only=True)

    print('success', success, 'failed', failed)


if __name__ == '__main__':
    create_index()
    insert_data()

　　Duang！意想不到的问题出现了

elasticsearch.helpers.BulkIndexError: ('4 document(s) failed to index.', [{'index': {'_index': 'test_article', '_type': 'article', '_id': '1', 'status': 400, 'error': {'type': 'illegal_argument_exception', 'reason': 'Failed to parse context field [removed], only keyword and text fields are accepted'}, 'data': {'id': 1, 'author': 'tom', 'author_completion': 'tom', 'removed': False}}}, {'index': {'_index': 'test_article', '_type': 'article', '_id': '2', 'status': 400, 'error': {'type': 'illegal_argument_exception', 'reason': 'Failed to parse context field [removed], only keyword and text fields are accepted'}, 'data': {'id': 2, 'author': 'tom_cat', 'author_completion': 'tom_cat', 'removed': True}}}, {'index': {'_index': 'test_article', '_type': 'article', '_id': '3', 'status': 400, 'error': {'type': 'illegal_argument_exception', 'reason': 'Failed to parse context field [removed], only keyword and text fields are accepted'}, 'data': {'id': 3, 'author': 'kitty', 'author_completion': 'kitty', 'removed': False}}}, {'index': {'_index': 'test_article', '_type': 'article', '_id': '4', 'status': 400, 'error': {'type': 'illegal_argument_exception', 'reason': 'Failed to parse context field [removed], only keyword and text fields are accepted'}, 'data': {'id': 4, 'author': 'tomato', 'author_completion': 'tomato', 'removed': False}}}])

　　意思是context只支持keyword和text类型，而上面removed类型为boolean，好吧，再改造mapping，将mapping的removed改为keyword类型……

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from elasticsearch.helpers import bulk
from elasticsearch import Elasticsearch

ES_HOSTS = [{'host': 'localhost', 'port': 9200}, ]

ES = Elasticsearch(hosts=ES_HOSTS)

INDEX = 'test_article'
TYPE = 'article'

ARTICLE = {
    'properties': {
        'id': {
            'type': 'integer',
            'index': 'not_analyzed'
        },
        'author': {
            'type': 'text',
        },
        'author_completion': {
            'type': 'completion',
            'contexts': [  # 这里是关键所在
                {
                    'name': 'removed_tab',
                    'type': 'category',
                    'path': 'removed'
                }
            ]
        },
        'removed': {
            'type': 'keyword',
        }
    }
}

MAPPINGS = {
    'mappings': {
        'article': ARTICLE,
    }
}


def create_index():
    """
    插入数据前创建对应的index
    """
    ES.indices.delete(index=INDEX, ignore=404)
    ES.indices.create(index=INDEX, body=MAPPINGS)


def insert_data():
    """
    添加测试数据
    :return:
    """
    test_datas = [
        {
            'id': 1,
            'author': 'tom',
            'author_completion': 'tom',
            'removed': 'False'
        },
        {
            'id': 2,
            'author': 'tom_cat',
            'author_completion': 'tom_cat',
            'removed': 'True'
        },
        {
            'id': 3,
            'author': 'kitty',
            'author_completion': 'kitty',
            'removed': 'False'
        },
        {
            'id': 4,
            'author': 'tomato',
            'author_completion': 'tomato',
            'removed': 'False'
        },
    ]
    bulk_data = []
    for data in test_datas:
        action = {
            '_index': INDEX,
            '_type': TYPE,
            '_id': data.get('id'),
            '_source': data
        }
        bulk_data.append(action)

    success, failed = bulk(client=ES, actions=bulk_data, stats_only=True)

    print('success', success, 'failed', failed)


if __name__ == '__main__':
    create_index()
    insert_data()

　　mission success。看看表结构ok

接下来就是获取补全建议

def get_suggestions(keywords):
    body = {
        'size': 0,
        '_source': 'suggest',
        'suggest': {
            'author_prefix_suggest': {
                'prefix': keywords,
                'completion': {
                    'field': 'author_completion',
                    'size': 10,
                    'contexts': {
                        'removed_tab': ['False', ]  # 筛选removed为'False'的补全，contexts不能包含多个tab，如加上一个'state_tab':['1',]的话contexts将失效
                    }
                }
            }
        },
    }
    suggest_data = ES.search(index=INDEX, doc_type=TYPE, body=body)
    return suggest_data


if __name__ == '__main__':
    # create_index()
    # insert_data()
    suggestions = get_suggestions('t')
    print(suggestions)
    
    """
    suggestions = {
        'took': 0,
        'timed_out': False,
        '_shards': {
            'total': 5,
            'successful': 5,
            'skipped': 0, 'failed': 0
        },
        'hits': {
            'total': 0,
            'max_score': 0.0,
            'hits': []
        },
        'suggest': {
            'author_prefix_suggest': [
                {'text': 't', 'offset': 0, 'length': 1, 'options': [
                    {'text': 'tom', '_index': 'test_article', '_type': 'article', '_id': '1', '_score': 1.0,
                     '_source': {},
                     'contexts': {'removed_tab': ['False']}},
                    {'text': 'tomato', '_index': 'test_article', '_type': 'article', '_id': '4', '_score': 1.0,
                     '_source': {},
                     'contexts': {'removed_tab': ['False']}}]}]}}
        """

　　发现，removed为'True'的tom_cat被筛选掉了，大功告成！

转载于:https://www.cnblogs.com/ALXPS/p/10238312.html

bacanlu3823
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换) 包含demo
10-15
Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换)
ElasticSearch数据导出
04-30
ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件
Python对ElasticSearch获取数据及操作
12-26
使用Python对ElasticSearch获取数据及操作，供大家参考，具体内容如下 Version Python ：2.7 ElasticSearch：6.3 代码： #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2018/7/4 @Author : LiuXueWen @Site : @File : ElasticSearchOperation.py @Software: PyCharm @Description: 对elasticsearch数据的操作，包括获取数据，发送数据 """
ElasticSearch 唐诗宋词 30万+数据
11-04
用来ElasticSearch检索学习，唐诗宋词， 包含es数据结构映射及30万+数据
Python从Elasticsearch获取数据并输出.csv文件(附完整代码)
nansen0324的博客
07-06 545
# 由于ES限制, 当偏移量>10000时需要特殊处理, 此处略 from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import csv import os import sys import datetime import json # 解决写入文件时中文编码问题 # reload(sys) # sys.setdefaultencoding('utf-8') # 存储列名称的list co
[es7]使用python向elasticsearch中插数据
SCUhzs
12-03 1876
​为了可以方便地实时观测插入过程中有无差错，选择使用自己独立开发的ESClient来实现数据的批量导入。其中关键方法为基于elaticsearch库中的help.bulk方法的add_date_bulk函数，只需要通过json库读取json文件形成列表，再把该列表传入该方法中，就可以不断将数据传入es中，并且可以观察到进度状态和异常信息。 插入脚本 使用方法 创建一个es.ini配置文件，路径为conf/es.ini（可自定义，在main函数中更改），格式如下 [Elasticsearch] hos
python elasticsearch bulk_Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM...
weixin_39891272的博客
12-09 459
数据导入脚本如下import timeimport sysfrom elasticsearch import Elasticsearchfrom elasticsearch.helpers import bulkreload(sys)sys.setdefaultencoding('utf-8')def set_mapping(es, index_name = "content_engine", d...
python 操作elasticsearch 基本用法
xxy_yang的博客
07-23 711
创建es索引库，相当于创建一个表 from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk es = Elasticsearch(hosts='localhost:9200') ...
11.context_suggester
寒夜
10-23 443
文章目录1. 上下文context suggester2. category index 操作3. category 查找4. geo index5. geo search 1. 上下文context suggester completion suggester会考虑索引中的所有文档，但有些情况下我们希望在复合一定的过滤条件的范围内获得suggest。例如，您想建议由某些艺术家的歌曲标题，或者您要根据其类型来提升某些歌曲标题的权重。 为了实现过滤或增强suggest，您可以在配置completion字段的m
python获取ElasticSearch数据
xueruixuan的专栏
12-22 2379
1、导入es的python库 from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from elasticsearch import helpers import pandas as pd import os 2、连接es es = Elasticsearch(hosts="http://192.168.194.16:9200/",timeout=30, max_retries=10, r..
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
1亿条数据如何快速导入到Elasticsearch中
记录技术上的一些解决方案
10-12 571
另外，如果你的数据包含敏感信息，请确保在导入过程中进行适当的安全措施。确保你的数据已经准备好，并且符合Elasticsearch的索引要求。在导入数据之前，确保你的Elasticsearch索引设置是合理的。这可能包括分片和副本的设置，以及合适的映射。在导入大量数据时，可能需要调整Elasticsearch的配置，以确保它具有足够的内存和资源来处理导入操作。将数据分成小批次，每批次包含一定数量的数据。在导入数据之前，务必备份你的Elasticsearch数据，以防万一发生意外情况。
【Elasticsearch】使用Python完成对ES的插入操作
weixin_43858830的博客
08-08 1505
1.Python搭建Flask服务，编写ES脚本。2.通过Java调用Python接口，完成对ES的插入操作。
使用Elasticsearch实现一个简单的小说网站搜索功能
XY_Noire的博客
08-18 2281
数据源：Mysql中存放的网络爬取的小说信息。 选取其中的 id，名字，作者，介绍 字段存到es中。 从mysql中其取出数据，转成 字典（json）形式，再使用 es 的 bulk批量提交。 bulk 分 Elasticsearch.bulk 和 from elasticsearch.helpers import bulk，参数有点差异 后者的返回结果为提交结果 成功数，失败数/错误列...
Elasticsearch 常见的 8 种错误及最佳实践
alexdyysp的博客
08-25 913
目录Elasticsearch 常见的 8 种错误及最佳实践一、Mapper_parsing_exception二、BulkIndexError三、搜索超时错误：ConnectionTimeout，ReadTimeoutError，RequestTimeout 等增加 elasticsearch.requestTimeout减少每个请求返回的文档数量缩小时间范围调整内存设置优化查询、索引和分片。启用慢速搜索日志四、All Shards Failed五、进程内存锁定失败：“memory locking req
Elasticsearch：如何正确处理 Elasticsearch 摄取管道故障
Elastic 中国社区官方博客
03-01 2096
我将使用一个实际的例子来展示如何实现一个死信索引（dead letter index - DLI）来捕获在使用 Elasticsearch Ingest pipeline 时运行摄取管道时的一些错误。摄取管道的能力是 Elastic Stack 提供的最强大的工具之一，用于在 Elasticsearch 中为数据编制索引之前处理和转换数据。
elasticsearch FORBIDDEN/12/index read-only / allow delete (api)]
u010483897的博客
11-07 1166
往es推数据，发现如下错误： BulkIndexError: ('1 document(s) failed to index.', [{u'index': {u'status': 403, u'_type': u'***', u'_index': u'***', u'error': {u'reason': u'blocked by: [FORBIDDEN/12/index read-only ...
Elasticsearch-Suggest API
qq_44447372的博客
04-05 334
目录 什么是搜索建议 Elasticsearch Suggester API Term Suggester Phrase Suggester The Complete Suggester 使用Completion Suggester的一些步骤 Context Suggester 实现Context Suggester 精准度和召回率 什么是搜索建议 现代的搜索引擎,一般会提供一个Suggest as you type 功能 帮助用户在输入搜索的工程中,进行自动补.
zookeeper和kafka消息队列
最新发布
m0_66372974的博客
04-13 1085
Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的(partition）、多副本(replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写。
Elasticsearch 实现 自动补全功能
12-21
要实现Elasticsearch的自动补全功能，可以使用拼音分词器和自定义分词器。首先，需要安装拼音分词插件，可以在GitHub上找到elasticsearch的拼音分词插件，并按照以下步骤进行安装： 1. 解压插件文件。 2. 将插件文件...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值