elastic-php实现多个OR并列查询的优化

最新推荐文章于 2024-05-11 17:57:21 发布
最新推荐文章于 2024-05-11 17:57:21 发布
阅读量425 收藏
点赞数
分类专栏： php 文章标签： elasticsearch php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28085257/article/details/117995586
版权

具体要求是一个关键词查询，可以查询名称或者标签或者所属的行业（通过名称模糊匹配ID）

主要是在must中嵌入 [bool][should]  进行OR的连接
 

然后query_string使用多字段 进行查询 name 和labels.核心代码如下

  if ($keywords) {
            /*获取单词的分词情况*/
            $analyzer = $this->client->indices()->analyze(
                [
                    'index' => $this->index,
                    'body' =>
                        [
                            'text' => $keywords,
                            'analyzer' => 'ik_max_word'
                        ]
                ]
            );
            if ($analyzer) {
                $tokens = $analyzer['tokens'];
                $keys = array_column($tokens, 'token', NULL);

                $keys_OR = implode('AND', $keys);
                //分词和labels同时查询
                $must_arr['bool']['should'][0]['query_string'] = ['fields' => ['name','labels'], 'query' => $keys_OR];
            }else{
//没有分词就直接查询labels
                $must_arr['bool']['should'][0]['query_string'] = ['default_field' => 'labels', 'query' => $keywords];
            }



        }


        if ($pro) {
//加入获取到的profession
            $must_arr['bool']['should'][1]['term']['profession'] = $pro;
        }


完整方法

 // 查询文档 (分页，排序，权重，过滤)
    public function search_doc($keywords = "", $year_arr = '', $province_arr = [], $from = 0, $size = 10, $order = ['id' => ['order' => 'asc']], $pro = 0)
    {

        $must_arr = [];
        $filter_arr = [];
        $should_arr = [];
        $keys = '';

        if ($keywords) {
            /*获取单词的分词情况*/
            $analyzer = $this->client->indices()->analyze(
                [
                    'index' => $this->index,
                    'body' =>
                        [
                            'text' => $keywords,
                            'analyzer' => 'ik_max_word'
                        ]
                ]
            );
              if ($analyzer) {
                $tokens = $analyzer['tokens'];
                $keys = array_column($tokens, 'token', NULL);

                $keys_OR = implode('AND', $keys);
                //分词和labels同时查询
                $must_arr['bool']['should'][0]['query_string'] = ['fields' => ['name','labels'], 'query' => $keys_OR];
            }else{
//没有分词就直接查询labels
                $must_arr['bool']['should'][0]['query_string'] = ['default_field' => 'labels', 'query' => $keywords];
            }



        }


        if ($pro) {
//加入获取到的profession
            $must_arr['bool']['should'][1]['term']['profession'] = $pro;
        }


        //查询审核通过的数据
        $filter_arr[]['term']['checked'] = 1;

        //按照给定年份 或者年份范围查询
        if ($year_arr && $year_arr[0] > 0) {
            $filter_arr[]['range'] = ['create_date' => ['gte' => $year_arr[0] . "-01-01", 'lte' => $year_arr[1] . "-12-31"]];
        }

        if ($province_arr) {
            if (!is_array($province_arr) && $province_arr !== 0) {
                $province_arr = explode(',', $province_arr);
            }

            //按照给定省份查询

            if ($province_arr !== 0 && ($province_arr[0] ?? 0) !== 0 && count($province_arr) > 0) {
                $filter_arr[]['terms']['province.keyword'] = $province_arr;
            }
        }


        /* echo "<pre>";
         print_r($filter_arr);
         print_r($province_arr);
         exit();*/

        if ($keywords || $year_arr || ($province_arr != 0 && count($province_arr) > 0)) {

            /*----------------------------------------------------------*/

            /*----------------------------------------------------------*/


            $params = [
                'index' => $this->index,
                //  'type' => $this->type,
                'body' => [
                    'query' => [
//                          'match' =>
//                          [
//                              'name'=>$keywords
//                          ]
                        'bool' =>
                            [
                                //  'filter'=>[
                                'must' => $must_arr,
                                'filter' => $filter_arr,
                                'should' => $should_arr,
                                //  ],
                            ]
                    ],

                    'sort' => [$order],
                    'from' => $from,
                    'size' => $size
                ]
            ];

            /*echo "<pre>";
            print_r(json_encode($params['body']['query']));
            exit();*/

            /*----------------------------------------------------------*/


        } // ------------------------------------------------------------------------


        else {
            $params = [
                'index' => $this->index,
                'body' => [
                    'sort' => [$order]
                    , 'from' => $from, 'size' => $size
                ]
            ];
        }

        try {

            $re = $this->client->search($params);

        } catch (\Exception $e) {
            echo '<pre>';
            print_r($e->getMessage());
            exit();
        }
        return ['re' => $re, 'keys' => $keys];
    }

完整文件：

<?php

// +----------------------------------------------------------------------
// | EasyAdmin
// +----------------------------------------------------------------------
// | PHP交流群: 763822524
// +----------------------------------------------------------------------
// | 开源协议  https://mit-license.org 
// +----------------------------------------------------------------------
// | github开源项目：https://github.com/zhongshaofa/EasyAdmin
// +----------------------------------------------------------------------

namespace app\index\controller;

use app\admin\model\Corporation;
use app\index\model\SystemUploadfile;
use app\common\controller\IndexController;
use app\common\service\MenuService;
use EasyAdmin\upload\Uploadfile;
use Elasticsearch\ClientBuilder;
use Elasticsearch\Common\Exceptions\BadRequest400Exception;
use Elasticsearch\Common\Exceptions\Missing404Exception;
use think\db\Query;
use think\facade\Cache;
use think\facade\Queue;

class Ela extends IndexController
{

    private $client;

    // 构造函数
    public function __construct()
    {
        $host = ['127.0.0.1:9200'];
        $this->index = 'hcc_corporation_v2';
        //  $this->index = 'hcc_corporation';
        $this->client = ClientBuilder::create()->setHosts($host)->build();
    }

    // 初始化
    public function index()
    {
        // 只能创建一次
        echo '<pre>';
        print_r("OVER");
        exit();

        $this->delete_index();


        $this->create_index(); //1.创建索引

        $this->create_mappings(); //2.创建文档模板

        echo '<pre>';
        print_r("INIT OK");
        exit();
    }


    public function put_settings()
    {
        $params1 =
            [

                'index' => $this->index,
                'body' => [
                    'settings' => [
                        'blocks' =>
                            [
                                'read_only_allow_delete' => 'false'
                            ]
                    ],
                ]
            ];
        $this->client->indices()->putSettings($params1);
        echo 'SUCCESS';
    }

    // 创建索引
    public function create_index()
    { // 只能创建一次
        $params = [
            'index' => $this->index,
            'body' => [
                'settings' => [
                    'number_of_shards' => 3,
                    'number_of_replicas' => 2,
                    'blocks' =>
                        [
                            'read_only_allow_delete' => 'false'
                        ],
                ],
            ]
        ];


        try {

            $this->client->indices()->create($params);

        } catch (BadRequest400Exception $e) {
            $msg = $e->getMessage();
            $msg = json_decode($msg, true);
            return $msg;
        }
    }


    // 删除索引
    public function delete_index()
    {

        /*  $params = ['index' => $this->index];
          $index = $this->client->indices()->get($params);

          if ($index) {
              return $this->client->indices()->delete($params);
          }*/

        //

    }

    // 创建文档模板
    public function create_mappings()
    {

        /*--------------------允许type的写法--------------------------*/


        /*--------------------不允许type的写法--------------------------*/
        // Set the index and type
        $params = [
            'index' => $this->index,
            'body' => [
                '_source' => [
                    'enabled' => true
                ],
                'properties' => [
                    'id' => [
                        'type' => 'integer',
                    ],
                    'top' => [
                        'type' => 'integer',
                    ],
                    'is_govern' => [
                        'type' => 'integer',
                    ],

                    'name' => [
                        'type' => 'text',
                        //'analyzer' => 'ik_max_word'
                        'analyzer' => 'ik_max_word'
                    ],
                    /*-------------------------------------*/
                ]
            ]
        ];

        $this->client->indices()->putMapping($params);
    }

    // 查看映射
    public function get_mapping()
    {
        $params = [
            'index' => $this->index,
        ];
        $re = $this->client->indices()->getMapping($params);
        echo '<pre>';
        print_r($re);
        exit();

    }

    // 添加一个文档（记录）
    public function add_doc($id, $doc)
    {
        $get = $this->get_doc($id);

        if (!$get) {
            $params = [

                'index' => $this->index,
                //  'type' => $this->type,
                'id' => $id,
                'body' => $doc
            ];

            return $this->client->index($params);
        }


    }

    // 判断文档（记录）
    public function exists_doc($id = 1)
    {
        $params = [
            'index' => $this->index,
            'type' => $this->type,
            'id' => $id
        ];

        return $this->client->exists($params);

    }

    // 获取一条文档（记录）
    public function get_doc($id = 1)
    {
        $params =
            [
                'index' => $this->index,
                'id' => $id
            ];

        try {

            $re = $this->client->get($params);

        } catch (Missing404Exception $e) {
            return 0;
            //return false;
        }

        return 1;
    }

    // 更新一条文档（）
    public function update_doc($id = 1)
    {
        // 可以灵活添加新字段,最好不要乱添加
        $params = [
            'index' => $this->index,
            'id' => $id,
            'body' => [
                'doc' => [
                    'name' => '大王'
                ]
            ]
        ];

        return $this->client->update($params);

    }

    // 删除一条文档（）
    public function delete_doc($id = 1)
    {
        $params = [
            'index' => $this->index,
            //'type' => $this->type,
            'id' => $id
        ];

        return $this->client->delete($params);

    }

    // 查询文档 (分页，排序，权重，过滤)
    public function search_doc($keywords = "", $year_arr = '', $province_arr = [], $from = 0, $size = 10, $order = ['id' => ['order' => 'asc']], $pro = 0)
    {

        $must_arr = [];
        $filter_arr = [];
        $should_arr = [];
        $keys = '';

        if ($keywords) {
            /*获取单词的分词情况*/
            $analyzer = $this->client->indices()->analyze(
                [
                    'index' => $this->index,
                    'body' =>
                        [
                            'text' => $keywords,
                            'analyzer' => 'ik_max_word'
                        ]
                ]
            );
             if ($analyzer) {
                $tokens = $analyzer['tokens'];
                $keys = array_column($tokens, 'token', NULL);

                $keys_OR = implode('AND', $keys);
                //分词和labels同时查询
                $must_arr['bool']['should'][0]['query_string'] = ['fields' => ['name','labels'], 'query' => $keys_OR];
            }else{
//没有分词就直接查询labels
                $must_arr['bool']['should'][0]['query_string'] = ['default_field' => 'labels', 'query' => $keywords];
            }



        }


        if ($pro) {
//加入获取到的profession
            $must_arr['bool']['should'][1]['term']['profession'] = $pro;
        }

        //查询审核通过的数据
        $filter_arr[]['term']['checked'] = 1;

        //按照给定年份 或者年份范围查询
        if ($year_arr && $year_arr[0] > 0) {
            $filter_arr[]['range'] = ['create_date' => ['gte' => $year_arr[0] . "-01-01", 'lte' => $year_arr[1] . "-12-31"]];
        }

        if ($province_arr) {
            if (!is_array($province_arr) && $province_arr !== 0) {
                $province_arr = explode(',', $province_arr);
            }

            //按照给定省份查询

            if ($province_arr !== 0 && ($province_arr[0] ?? 0) !== 0 && count($province_arr) > 0) {
                $filter_arr[]['terms']['province.keyword'] = $province_arr;
            }
        }


        /* echo "<pre>";
         print_r($filter_arr);
         print_r($province_arr);
         exit();*/

        if ($keywords || $year_arr || ($province_arr != 0 && count($province_arr) > 0)) {

            /*----------------------------------------------------------*/

            /*----------------------------------------------------------*/


            $params = [
                'index' => $this->index,
                //  'type' => $this->type,
                'body' => [
                    'query' => [
//                          'match' =>
//                          [
//                              'name'=>$keywords
//                          ]
                        'bool' =>
                            [
                                //  'filter'=>[
                                'must' => $must_arr,
                                'filter' => $filter_arr,
                                'should' => $should_arr,
                                //  ],
                            ]
                    ],

                    'sort' => [$order],
                    'from' => $from,
                    'size' => $size
                ]
            ];

            /*echo "<pre>";
            print_r(json_encode($params['body']['query']));
            exit();*/

            /*----------------------------------------------------------*/


        } // ------------------------------------------------------------------------


        else {
            $params = [
                'index' => $this->index,
                'body' => [
                    'sort' => [$order]
                    , 'from' => $from, 'size' => $size
                ]
            ];
        }

        try {

            $re = $this->client->search($params);

        } catch (\Exception $e) {
            echo '<pre>';
            print_r($e->getMessage());
            exit();
        }
        return ['re' => $re, 'keys' => $keys];
    }


    /**
     * 批量插入数据到索引
     */
    public function insertCorporation($start)
    {
        echo '<pre>';
        print_r("OVER");
        exit();
        $corporations = Corporation::limit($start, 50000)->order('id ASC')->select();
        foreach ($corporations as $corporation) {
            $job = "index/Message2";
            Queue::push($job, $corporation->toArray(), $queue = "Import2");
        }
        echo '<pre>';
        print_r('完成了');
        exit();
    }

    //批量更新
    public function update_all_doc()
    {
        echo '<pre>';
        print_r("OVER");
        exit();
        // 可以灵活添加新字段,最好不要乱添加
        $params = [
            'index' => $this->index,
            'body' => [
                'script' => 'ctx._source.recommend = 0',
            ],
        ];
        $re = $this->client->updateByQuery($params);

        echo '<pre>';
        print_r($re);
        exit();

    }

}

 

php-python-java-go-c
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
对ElasticsearchPHP进行查询语句封装可实现链式调用方便es查询
08-07
对Elasticsearch-PHP进行查询语句封装 可实现链式调用 方便 es查询
elastic-builder:Elasticsearch查询DSL的Node.js实现
05-02
Elasticsearch兼容性elastic-builder是为5.x查询DSL elastic-builder 。 但是，该库也应可与2.x一起使用。 对于较旧版本的DSL，您可以尝试或 大部分情况下， elastic-builder也与elasticsearch 6.0（alpha）兼容。 ...
MySQL中关于OR条件的优化_MySQL中关于OR条件的优化
weixin_36125719的博客
01-19 432
转载MySQL在5.0版本中引入新特性：索引合并优化(Index merge optimization)，当查询中单张表可以使用多个索引时，同时扫描多个索引并将扫描结果进行合并。该特新主要应用于以下三种场景：1、对OR语句求并集，如查询SELECT * FROM TB1 WHERE c1="xxx" OR c2=""xxx"时，如果c1和c2列上分别有索引，可以按照c1和c2条件进行...
es or语句查询
最新发布
qq_33562537的博客
05-11 584
在Elasticsearch（ES）中，你可以使用布尔查询（Bool Query）结合多个子句（如term查询或terms查询、match查询和must/should子句）来构建复杂的查询。对于你的需求，你可以使用。替换为你的实际索引名称，并根据你的字段映射和数据类型调整查询。
php 模糊搜索多个词_PHP实现多个关键词搜索查询功能示例
weixin_35042833的博客
03-08 502
本文实例讲述了PHP实现多个关键词搜索查询功能。分享给大家供大家参考，具体如下：PHP对于数据库的搜索主要通过使用SQL语句中的like子句来实现。如果同时搜索多个关键词，可以使用union子句来将搜索结果合并起来。以下代码实现了一个搜索页面。引用$colname_rs = $_GET[''key'']; //获得用户输入$result = explode('','',$_GET[''key'']...
elasticsearch php搜索,ElasticSearch并在PHP中搜索多个字段
weixin_39913141的博客
03-10 492
我使用的是最新版本的elasticsearch-php以及最新版本的MongoDB和ElasticSearch.我需要在可以包含一个或多个值的多个字段上进行搜索.例：country_code应该是NL,BE或DE和类别应包含AA01,BB01,CC02或ZZ11我以为我会按照以下方式解决它(PHP)：$countries = array(“NL”, “BE”, “DE”);$category = ...
elasticsearch and or
u013399759的专栏
03-08 2777
1. and == bool must 2. or == should 3. 如果是类 where a=a and ((b=c and e=f)  or  (b=d and e>h)) 等条件，需要使用 filter
elastic-apm-php-agent:适用于Elastic APMPHP代理
05-23
文献资料例子捕捉可投掷跨度母公司交易指标集获取服务器信息分布式跟踪将debug_backtrace转换为堆栈跟踪 测验vendor/bin/phpunit 贡献者非常感谢这个仓库的每个贡献者，特别感谢： 斯蒂芬georgeboot alash3al 思潮雨...
elastic-job-lite-console-2.1.5.zip[支持Windows/Os/Linux]
01-15
Elastic-Job是一个分布式任务调度框架，由两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。这里的"elastic-job-lite-console-2.1.5.zip"是一个压缩包，其中包含了Elastic-Job-Lite的控制台版本，支持在...
elastic-job-lite-console-2.1.5.tar.gz
11-26
在Elastic-Job-Lite中，任务被划分为作业（Job），每个作业可以被细分为多个分片，这些分片可以在不同的服务器上并行执行，实现任务的分布式处理。作业通过简单易用的API进行定义，可以设置执行策略，如简单、周期性...
Oracle SQL 'or' 的优化，最近的案例一则。
cheng1100o的专栏
03-05 9090
Oracle 中or是可以用union/union all来作优化的 SQL Tuning之 OR的优化。 今天公司某Production DB时常LOADING飚起来，Monitor下发现一个很high的SQL: SELECT COUNT(A.ISN) FROM MO_ROUTE A,MO B WHERE (A.ROUTE = :B2 OR A.ROUTE = 'LNBR') AND A.
Elasticsearch高级操作 （多关键字精确查询）
weixin_45417821的博客
05-22 3037
terms 查询和 term 查询一样，但它允许你指定多值进行匹配。 如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件，类似于mysql的in 在 Postman中，向ES服务器发GET请求 ：http://127.0.0.1:9200/student/_search { "query": { "terms": { "name": ["zhangsan","lisi"] } } } 服务器响应结果： ...
es搜索 php,php elasticsearch 搜索详解
weixin_39552317的博客
03-29 534
本章主要讲解php Elasticsearch的搜索的写法，大体上php Elasticsearch的写法还是跟elasticsearch查询语法保持一致，区别就是elasticsearch使用的是json结构，需要转换成php数组。如果不熟悉elasticsearch查询语法和相关概念，可以先看看elasticsearch查询语法教程，这里不再重复。下面通过一些例子对比下，elasticsear...
php 查询and or,php – SQL查询多个AND和OR不起作用
weixin_28850485的博客
04-12 211
我有一个包含由双管分隔的值的单元格.我试图用以下内容搜索这个单元格的内容,(其中10是要搜索的数字)？,10％,？％和10我的查询似乎只返回10.没有其他变化.有人可以告诉我为什么它不起作用？提前谢谢了. (您在下面看到的SQL查询是从准备好的PDO查询语句中导出的内容)SELECT `Hat`.`id` AS `Hat_id` , `Hat`.`hatCode` AS `Hat_hatC...
elasticsearch中的and和or
Always on the road
11-17 4263
bool query 一种复合查询，把其余类型的查询包裹进来。支持以下三种逻辑关系。 must： AND must_not：NOT should：OR
Elasticsearch 查询整理
难得糊涂
09-13 294
序言 收集整理ES常用的一些查询类型.持续更新. 基本信息 常用字符 符号 含义 gte greater-than or equal to, 大于或等于 gt greater-than, 大于 lte less-than or equal to, 小于或等于 lt less-than, 小于 逻辑查询 或(OR) #如果有多个搜索关键字， Elastic 认为它们是or关系。 $ curl 'localhost:9200/account
php es 商品搜索,PHP开发中使用es查询数据
weixin_28884741的博客
03-11 438
ELKELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的...
php 使用 ElasticSearch 高级查询、过滤、排序
lxw1844912514的博客
08-02 427
一、高级查询1. 布尔查询(bool)bool把各种其它查询通过must（与）、must_not（非）、should（或）的方式进行组合。GET /yoshop/_search { "query":{ "bool":{ "must": { "match": { "title": "大米" }}, "must_not": { "...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值