Yii ElasticSearch实战以及优化点

最新推荐文章于 2024-04-19 09:54:47 发布
置顶 最新推荐文章于 2024-04-19 09:54:47 发布
阅读量699 收藏 4
点赞数
分类专栏： Yii-es使用 文章标签： Yii-es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43946245/article/details/105435643
版权

前面分享了Xunserch 和 ElasticSearch的安装，本来是要用Xunserch 的因为官网项目部需要太强大的插件，但是安装不给力，各种错误，最后用ElasticSearch。。。其实ElasticSearch并不太难，，， 不说了 直接上代码

先说下我的设计模式：

后台添加数据的同时王es里面插入索引， es6.0版本后一个索引只能插入一个type，所以es每个索引对应数据表， es存放前端要显示的字段即可，没必要全部字段都存在里面。 插入或者更新是调用一个公共方法。。。 搜索调用搜索接口

优化点 如果你的集群只有一个节点，这不要设置副本数，不然健康值会变成yellow，设置为0即可
在这里插入图片描述

阿里云的dts可以自动把mysql数据库的数据添加和更新索引到ES 但是需要付费。。。这个不做过多的说明

1.在 项目配置文件 web.php (高级模板main.php) 中的components中添加配置：

		//现使用 es
        'elasticsearch' => [
            'class' => 'yii\elasticsearch\Connection',
            //默认为true   如果单节点  设为false 不然会连接错误
            'autodetectCluster' => false,
            'nodes' => [
                ['http_address' => '127.0.0.1:9200'],
            ],
        ],

2.搜索接口

/**
     *  auth - rk
     *  获取全站搜索数据
     *  支持分词搜索和 多条件+多字段搜索
     */
 public function actionSearch(){

        if(Yii::$app->request->isPost){
            $searchData = Yii::$app->request->post('name','');
            $pageSize = Yii::$app->request->post('pageSize',5);
            $page = Yii::$app->request->post('page',1);
            $cate = Yii::$app->request->post('cate','');
            $offset = ($page-1)*$pageSize;
            $searchData =trim($searchData);
//            $searchData = str_replace(" ","",$searchData);
            if(empty($searchData)){
                $data['res_code']='200';
                $data['res_msg']='success';
                $data['res_data']=[];
                return $data;
            }
            //ElasticSearch
            $es = new ElasticSearch();
            //高亮数据
            $highlight = [
             #左标签，配合前端.highlight这个类来实现高亮
            "pre_tags"=>['<span class="highlight">'],
            "post_tags"=>['</span>'],
            #在原生api中写的是{}表示空对象，因此使用php的stdClass来表示空对象
            "fields"=>[
                "title"=>new \stdClass(),
                "subtitle"=>new \stdClass(),
                 ]
            ];

            $cat = ['product','cases','news','about_us'];
            if(!empty($cate)){
                if(in_array($cate,$cat)){
                    $cat = [$cate];
                }
            }
            $resArr = [];
            foreach ($cat as $val){
                $es::$index_db_name = $val;
                $es::$type_tb_name = $val;
                $where = ["is_delete"=>0,"status"=>1];
                if($val == 'about_us'){
                    $where = ["is_delete"=>0];
                }
                $must[] = [
                    "multi_match" => [//分词多字段搜索
                        'query' => $searchData,//['fuzzy'=>$searchData]
                        'fields' => ['title','subtitle'],//搜索的字段
                    ],
                ];

                $query = [
                    'bool'=>[
                        'must' => $must,
                        'should' => [
                            ['match'=> ['is_delete' => 0]]
                        ],
                        'minimum_should_match' => 1,
                    ]
                ];

                $sort = ['sort' => ['order' => 'desc']];
                //->query($query)->orderBy($sort)->asArray()->all()   'terms'=> $where

                $esQuery = $es::find()->query($query);//->offset($offset)->limit($pageSize)->orderBy($sort)->highlight($highlight)->asArray()->all()
                $count = $es::find()->query($query)->search();
                $res = $esQuery->offset($offset)->limit($pageSize)->orderBy($sort)->highlight($highlight)->asArray()->all();
                $resArr[$val]['count'] = $count['hits']['total']['value'] ??0;
                $resArr[$val]['pageSize'] = $pageSize;
                $resArr[$val]['data'] = $res??[];
            }
            //搜索数据存储到后台
            $searchModel  = new Search();
            //先判断是否存在搜索数据  存在更新次数
            $querySql = $searchModel::find()->where(['like','content',$searchData]);
            $count = $querySql->count();
            if($count !==0){
                $queryData = $querySql->asArray()->all();
                foreach ($queryData as $key => &$val){
                    $num = $val['num'] +=1;
                    $searchModel->updateAll(['num'=>$num],['id'=>$val['id']]);
                }
            }else{
                $searchModel->ip = Yii::$app->request->getUserIP();
                $searchModel->content  = $searchData;
                $searchModel->save();
            }

             //xunsearch
//            $db = \Yii::$app->xunsearch->getDatabase('mmc_uav',true);
//            $xs = $db->xs;
//            $search = $db->getSearch();
//            $index = $db->getIndex();
//            var_dump($search);die;
            $data['res_code']='200';
            $data['res_msg']='success';
            $data['host'] = Yii::$app->request->hostInfo;
            $data['res_data']=$resArr;
            return $data;
        }
        $data['res_code']='400';
        $data['res_msg']='请求方式错误';
        return $data;
    }

3.ElasticSearch模型

<?php
/**
 * Created by PhpStorm.
 * User: renkun
 * Date: 2020/4/9
 * Time: 10:09
 */

namespace app\models;


use yii\elasticsearch\ActiveRecord;

class ElasticSearch  extends ActiveRecord
{

    public static $index_db_name = '';
    public static $type_tb_name = '';
//    # 定义db链接
    public static function getDb()
    {
        return \Yii::$app->get('elasticsearch');
    }

    // 索引名相当于库名
    public static function index(){
        return self::$index_db_name;
    }

    // 类别名相当于表名
     public static function type(){
        return self::$type_tb_name;
     }

    # 属性
    public function attributes()
    {
        $mapConfig = self::mapConfig();
        return array_keys($mapConfig[self::$type_tb_name]);
    }
    # mapping配置
    public static function mapConfig(){
        return [
            'news' => [
                'id'  => ['type' => 'int'],
                'userId'  => ['type' => 'int'],
                'categoryId'  => ['type' => 'int'],
                'title'  => ['type' => 'string'],//默认分词
                'subtitle'  => ['type' => 'string'],
                'content'      => ['type' => 'string'],
                'recommend'  => ['type' => 'int'],
                'publishTime'  => ['type' => 'int'],
                'auth'  => ['type' => 'string'],
                'cover_img'  => ['type' => 'string'],
                'origin'  => ['type' => 'string'],
                'origin_url'  => ['type' => 'string'],
                'status'  => ['type' => 'int'],
                'sort'  => ['type' => 'int'],
                'is_delete'  => ['type' => 'int'],
            ],
            'about_us' => [
                'id'  => ['type' => 'int'],
                'content'      => ['type' => 'string'],
                'addtime'  => ['type' => 'int'],
                'title'  => ['type' => 'string'],//默认分词
                'description'  => ['type' => 'string'],
                'type'  => ['type' => 'int'],
                'sort'  => ['type' => 'int'],
                'is_delete'  => ['type' => 'int'],
            ],
            'cases' => [
                'id'  => ['type' => 'int'],
                'userId'  => ['type' => 'int'],
                'categoryId'  => ['type' => 'int'],
                'title'  => ['type' => 'string'],//默认分词
                'subtitle'  => ['type' => 'string'],
                'auth'  => ['type' => 'string'],
                'device'  => ['type' => 'string'],
                'content'      => ['type' => 'string'],
                'recommend'  => ['type' => 'int'],
                'status'  => ['type' => 'int'],
                'cover_img'  => ['type' => 'string'],
                'create_at'  => ['type' => 'int'],
                'sort'  => ['type' => 'int'],
                'is_delete'  => ['type' => 'int'],
            ],
            'product' => [
                'id' => ['type' => 'int'],
                'product_type_id'  => ['type' => 'int'],
                'title'  => ['type' => 'string'],//默认分词
                'description'  => ['type' => 'string'],
                'cover_img_url'  => ['type' => 'string'],
                'product_introduction'  => ['type' => 'string'],
                'extension'  => ['type' => 'string'],
                'images'  => ['type' => 'long'],
                'recommend'  => ['type' => 'string'],
                'addtime'  => ['type' => 'int'],
                'is_recommend'  => ['type' => 'int'],
                'user_id'      => ['type' => 'int'],
                'status'  => ['type' => 'int'],
                'sort'  => ['type' => 'int'],
                'is_delete'  => ['type' => 'int'],
            ]
        ];
    }

     // 映射
     public static function mapping(){
        $mapConfig = self::mapConfig();
        return [
            static::type() => $mapConfig[self::$type_tb_name]
        ];
    }
    // 更新映射
     public static function updateMapping(){
         $db = self::getDb();
         $command = $db->createCommand();
         if(!$command->indexExists(self::index())){
             $command->createIndex(self::index());
         }
         $res = $command->setMapping(self::index(), self::type(), self::mapping());
        return $res;
     }
     // 创建索引
     public static function createIndex(){
         $db = static::getDb();
         $command = $db->createCommand();
         if(!$command->indexExists(self::index())){
             $command->createIndex(static::index(), [
                 'settings' => [
                     'index' => [
                         // 指定新索引的时候不会立即生效，1s之后刷新生效  默认是1s
                         'refresh_interval'      => '1s',
                         // 索引分片个数  默认5片
                         'number_of_shards'      => 5,
                         // 每个分片副本个数  默认1个       单节点集群如果副本不设置为0   集群健康值会变成黄色  因为单点集群无法存放副本
                         'number_of_replicas'    => 0,
                     ]
                 ],
//             'mappings' => static::mapping(),
                 //'warmers' => [ /* ... */ ],
                 //'aliases' => [ /* ... */ ],
                 //'creation_date' => '...'
             ]);
         }
     }

    // 删除索引   (谨慎使用)
     public static function deleteIndex(){
         $db = static::getDb();
         $command = $db->createCommand();
         $res = $command->deleteIndex(static::index(), static::type());
         return $res;
     }


    //创建es索引 并赋值
    public static function es($index,$data=[],$action = 0){   //0 添加  1 创建
        $es = new self();
        $es::$index_db_name = $index;
        $es::$type_tb_name = $index;
        $attr = $es::mapping();

        $indexKey = array_keys($attr[$index]);
//        var_dump($data);die;
        $tmpData = $data;
        //只获取主要字段
        if(!empty($data)){
            if($action == 1){
                $es = $es::findOne($data['id']); //更新
                if(empty($es)){
                    self::es($index,$tmpData,0);
                }
            }else{
                $es::createIndex();
                $es->primaryKey = $data['id'];
            }
            foreach ($data as $key => $val){
//                var_dump($indexKey);
//                var_dump($data);die;
                if(in_array($key,$indexKey)){
                    $es->$key = $val;
                }
            }
            if ($es->save() == false) {
                die("es数据出现错误，请联系管理员");
            }

        }
    }

}
  1. 手动添加索引和更新
		 if( $model->save()){
	              //同步到es
	              ElasticSearch::es('product',$model->attributes);
	              return $this->redirect(['view', 'id' => $model->id]);
	      }

//最终效果
在这里插入图片描述
在这里插入图片描述

拥抱世界的精彩
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yii2-elasticsearch, Yii 2 Elasticsearch扩展.zip
09-18
yii2-elasticsearch, Yii 2 Elasticsearch扩展 Elasticsearch查询和 Yii 2的ActiveRecord这个扩展为 Yii框架 2.0提供了的集成。 它包括基本查询/搜索支持，还实现了 ActiveRecord Pattern，允许你在elasticsearch
yii-search:用于Yii2的elasticsearch
05-18
yii-搜索 用于Yii2的elasticsearch
yii-elasticseach查询优化（terms）
qq_39303936的博客
03-22 183
terms 的用法就相当于 in ，默认情况下请求体允许个数为1024。
yii2-elasticsearch:Yii 2 Elasticsearch 扩展
08-04
Yii 2 的 Elasticsearch 查询和 ActiveRecord 这个扩展为提供了集成。 它包括基本的查询/搜索支持，还实现了ActiveRecord模式，允许您在 Elasticsearch 中存储活动记录。 有关许可证信息，请检查文件。 文档位于 。 要求 根据您使用的 Elasticsearch 版本，您需要此扩展的不同版本。 对于 Elasticsearch 1.6.0 到 1.7.6 使用扩展版本 2.0.x 对于 Elasticsearch 5.x 或更高版本，请使用扩展版本 2.1.x 安装 安装此扩展的首选方法是通过 ： composer require --prefer-dist yiisoft/yii2-elasticsearch:"~2.1.0" 配置 要使用此扩展，您必须在应用程序配置中配置 Connection 类： return [
Yii2.0实现的批量更新及批量插入功能示例
10-17
主要介绍了Yii2.0实现的批量更新及批量插入功能,结合实例形式总结分析了Yii2.0数据库实现数据的批量更新与批量插入功能相关操作技巧,需要的朋友可以参考下
Yii2集成Elasticsearch（一）
wx145的博客
10-24 3388
背景知识： 全文搜索可以简单地分为两类，一种是顺序扫描，即我们常见的使用 like %keyword% 方式，扫描整张数据表，在每一条记录中查找；另一种就是索引扫描。elasticsearch就是后者。 索引扫描分为两部分：创建索引和搜索索引。创建索引的主要步骤是：对原数据进行分词处理（去掉标点和一些无意义的词等等），将得到的词元交给语言处理组件（例如将复数变为单数，将过去式变为一般式等等），...
探索 Yii2-Elasticsearch：高效数据检索的利器
gitblog_00084的博客
04-19 223
探索 Yii2-Elasticsearch：高效数据检索的利器 项目地址:https://gitcode.com/yiisoft/yii2-elasticsearch Yii2-Elasticsearch 是一个由 Yiisoft 开发的 PHP 框架，用于与 Elasticsearch 数据库进行无缝集成。Elasticsearch 是一种流行的、高性能的全文搜索引擎，广泛应用于日志分析、实时数...
Yii2-elasticsearch的简单使用
weixin_45000482的博客
12-30 1653
Yii2-elasticsearch的简单使用
Yii2+ElasticSearch增删改查实现
xiadiganhuo的博客
04-27 630
构建该model之前需要自行配置yii2-elasticsearch组件安装 我是通过composer安装的 在composer.json中 安装完成之后 然后需要在yii的配置文件中加入小组件相关配置 接下来就是构建业务模型 集成的ActiveRecord类应该为组件目录下的AR类 use yii\elasticsearch\ActiveRecord 这个AR了重写了yii2的AR类部分方法，有些查询需要原生es语句才可以。 Model: class HospitalEsModel extend
yii2.0框架中使用elasticsearch
weixin_34396103的博客
06-21 357
自己写的公共类，如有不完善或错误地方，欢迎更正 common/Elasticseatch.php 1 <?php 2 3 namespace app\common; 4 5 use yii; 6 use yii\elasticsearch\ActiveRecord; 7 use yii\data\Pagination; 8 ...
Yii框架实战视频教程
07-22
教程名称：Yii框架实战视频教程（更新中）       课程目录： 【】0507-01-yii简介 【】0507-02-yii项目部署 【】0507-03-yii框架整合用户登录模板 【】0507-04-yii路由获得控制...
Yii2 中实现单点登录的方法
10-18
主要介绍了Yii2 中实现单点登录的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Yii 2.0进阶版 高级组件 优化京东平台
04-25
Yii 2.0进阶版 高级组件 优化京东平台 包括前后台源代码，使用php 实现数据库mysql
node-v9.6.0-x86.msi
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Python基于机器学习的分布式系统故障诊断系统源代码，分布式系统的故障数据进行分析，设计故障诊断模型，高效地分析并识别故障类别
04-29
基于技术手段（包括但不限于机器学习、深度学习等技术）对分布式系统的故障数据进行分析，设计故障诊断模型，高效地分析并识别故障类别，实现分布式系统故障运维的智能化，快速恢复故障的同时大大降低分布式系统运维工作的难度，减少运维对人力资源的消耗。在分布式系统中某个节点发生故障时，故障会沿着分布式系统的拓扑结构进行传播，造成自身节点及其邻接节点相关的KPI指标和发生大量日志异常
JavaScript前端开发的核心语言前端开发的核心语言
最新发布
04-29
javascript 当今互联网时代，JavaScript已经成为了前端开发的核心语言它是一种高级程序设计语言，通常用于网页的交互和动态效果的实现。JavaScript的灵活性以及广泛的使用使得它变得异常重要，能够为用户带来更好的用户体验。 JavaScript的特点之一是它的轻量级，它可以在网页中运行无需单独的编译或下载。这意味着网页可以更快地加载并且用户无需安装额外的软件才能运行网页上的JavaScript代码。此外，与HTML和CSS紧密结合，可以直接在HTML文档中嵌入，使得网页的开发变得非常便捷。 JavaScript具有动态性，它可以在浏览器中实时修改页面内容和样。它可以通过操作DOM（文档对象模型来动态地修改网页的结构和布局，并且可以根据用户的行为实时地响应各种事件，如点击、标悬停、滚动等。这使得开发者可以轻松地为网页添加交互性和动态效果，提供更好的用户体验。 JavaScript也是一种面向对象的语言。它支持对象、类、继承、多态等面向对象编程的概念，使得代码结构更加清晰和可维护。开发者可以创建自定义的对象和方法，对功能进行封装和复用，提高代码的可读性和可维护性。
四则运算自动生成程序安装包
04-29
四则运算自动生成程序安装包
基于Linux的私有文件服务器(网盘).zip
04-29
基于Linux的私有文件服务器(网盘)
yii swoole
11-19
yii swoole 是一个基于 Yii 框架和 Swoole 扩展的高性能异步网络通信框架。它结合了 Yii 的优点和 Swoole 的高性能，为开发者提供了更高效、更稳定的网络编程解决方案。 yii swoole 提供了一些新的特性和功能，比如异步非阻塞的网络通信模式，可以处理大量的并发请求，提高了系统的并发能力和性能。同时，yii swoole 也提供了一些常用的网络编程组件，比如 TCP/UDP 服务器、HTTP 服务器等，开发者可以通过这些组件快速搭建一个高性能的网络通信系统。 通过 yii swoole，开发者可以更加便捷地实现异步任务处理、长连接管理、定时任务调度等复杂的网络编程需求，同时也可以充分利用 Yii 框架提供的丰富功能和组件，为网络应用程序开发提供更强大的支持。 总之，yii swoole 是一个基于 Yii 框架和 Swoole 扩展的高性能网络通信框架，它将 Yii 框架的便捷性和 Swoole 扩展的高性能结合在一起，为开发者提供了一个更高效、更稳定的网络通信解决方案。它是一个非常有潜力的框架，可以为开发者带来更多的可能性和便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值