ThinkPHP5 使用迅搜 (XunSearch) 实现全文检索实例指导

最新推荐文章于 2024-01-31 23:08:43 发布
最新推荐文章于 2024-01-31 23:08:43 发布
阅读量2.6k 收藏 16
点赞数 4
分类专栏： 数据库 PHP 文章标签： 数据库 xunsearch 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011415782/article/details/112857715
版权

前期准备

入坑了一天，折腾的无语，个人观点：【文档太差，适合学习思路，小心入坑】

  • 背景

    最近在整理全文检索解决方案
    注意到 PHP 环境中对 xunsearch 的评价很高，在此记录一番

【Xunsearch 是一个高性能、全功能的全文检索解决方案】

  • 场景描述

    此处作为对 xunsearch 的初次使用，
    以一个简单的商品 SKU 信息搜索场景进行描述
    我已有一张 tp5_xsku表，用来存储商品 SKU 信息
    主键为 "sku_id"，需要进行匹配的字段为："spec_name"

  • 环境

PHP:	php7.2.9
Linux:	CentOS7.9
MySQL:	mysql5.7.32

☞ XunSearch 服务端搭建

  • 此处，我将网站应用部署在本地 windows 环境
    然后，使用一台虚拟机 【192.168.80.224】作为 xunsearch 服务器的部署环境

官方指导文档 —— 【安装、升级 Xunsearch】

1). 运行下面指令下载、解压安装包

  • 此处，我选择的是一台 CentOS7 的虚拟机 [ip:192.168.80.224]，作为服务端
wget http://www.xunsearch.com/download/xunsearch-full-latest.tar.bz2
tar -xjf xunsearch-full-latest.tar.bz2

2). 执行安装脚本

  • 首先，建议将解压后的文件夹移动到 "usr/local/" 目录下
    此处，我做了文件夹重命名、拷贝操作
mv xunsearch-full-1.4.15/ xunsearch
cp -r xunsearch /usr/local/xunsearch
  • 然后执行安装脚本命令
    选择默认即可（第一次安装的话，过程可能会稍显漫长）
cd /usr/local/xunsearch/
sh setup.sh
  • 一般没啥问题，最终成功提示信息如下：

因为我的 SDK 调用和 xunsearch 服务端 不在同一服务器，所以使用 "-b inet" 方式启动脚

/usr/local/xunsearch/bin/xs-ctl.sh -b inet start

【提示】：

  • 注意官方建议的 不同启动方式，不然坑死你
    其次，测试发现，如果我直接删掉了 "/usr/local/xunsearch/data" 文件夹，后续直接没反应
    需要重启 xunsearch 服务方可！（也没见官网提示）
    不过，只是删除 "/usr/local/xunsearch/data/" 内的文件夹，是无需重启的！

3). 设置端口号

  • 通过对 xunsearch 的启动命令操作发现，需要有端口号 "8383、8384" 的支持
    注意借助类似 iptables 的防火墙，
    来控制 xunsearch 的 8383/8384 两个端口的访问权限
  • 启动完成后，可以输入命令查看服务的运行状态： "ps -ef | grep xs-searchd"
[root@localhost ~]# ps -ef | grep xs-searchd
root       2431      1  0 13:25 ?        00:00:00 xs-searchd: master
root       2432   2431  0 13:25 ?        00:00:00 xs-searchd: worker[1]
root       2433   2431  0 13:25 ?        00:00:00 xs-searchd: worker[2]
root       2434   2431  0 13:25 ?        00:00:00 xs-searchd: worker[3]
root       2487   2397  0 13:29 pts/0    00:00:00 grep --color=auto xs-searchd

4). 设置开机启动

建议将 xunsearch 添加到开机启动脚本中，以便每次服务器重启后能自动启动搜索服务程序

  • 在 Linux 系统中,
    可以将脚本指令 "/usr/local/xunsearch/bin/xs-ctl.sh -b inet start"
    写进 "/etc/rc.local" 文件，然后保存退出即可
vi /etc/rc.local

提示： 本机测试，开机重启不成功，这就尴尬了！！！

☞ ThinkPHP5 应用框架的配置

此处，注意，应用框架跟前面的 "XunSearch" 服务端不在一个 ip 地址

1). composer 安装 sdk

官方指导文档 —— 【通过Composer 使用 Xunsearch SDK】

  • 进入项目根目录，执行 composer 指令如下：
composer require --prefer-dist hightman/xunsearch "*@beta"
  • 此时，会在 "vendor" 目录下，生成两个相关文件夹
  • 检测 PHP-SDK 的运行条件
    此时，可以在 "vendor\hightman\xunsearch\util" 目录中
    运行 php 指令：php RequiredCheck.php

2). 配置文件的修改

对于配置文件的详细解释，建议阅读文档 —— 【xunsearch 项目配置文件详解】

每个搜索项目必须有且仅有一个 type=id 字段，确保每条数据具备唯一值，是索引更新和删除的凭据

  • 可以参考 "vendor/hightman/xunsearch/app/demo.ini" 文件
    创建属于自己业务的配置文件
    我新建了一个"goods_sku.ini" 文件，配置参考如下：
project.name = goods_sku
project.default_charset = utf-8
server.index = 192.168.80.224:8383
server.search = 192.168.80.224:8384

[sku_id]
type = id

[spec_name]
type = string
index = both

3). 集成方法类 "XunseachService" 的使用

根据网上的一些经验，建议，创建一个集成方法类

  • 此处，提供 "XunsearchService.php" 的源码，方便参考使用
<?php

namespace app\common\lib;
/**
 * xunsearch 集成使用类
 * Class XunsearchService
 * @package app\common\lib
 */
class XunsearchService
{
    /**
     * 中文分词搜索
     * @param string $keywords 关键词
     * @param string $file ini文件名
     * @param bool $is_scws 是否开启中文分词（例如：口袋新世代，拆分成：口袋、新、世代）
     * @param int $limit 搜索结果条数
     * @return array 返回结果
     * @throws \XSException
     */
    public static function search($keywords,$file = 'demo',$is_scws = false,$limit = 100){
        $xs = new \XS($file);
        if($is_scws === true) {
            //中文分词
            $tokenizer = new \XSTokenizerScws;
            //词语拆分
            $words = $tokenizer->getTokens($keywords);
            $where = '';
            //拼接成查询条件（OR）
            foreach ($words as $key => $val) {
                if ($key == 0) {
                    $where = $val;
                } else {
                    $where .= ' OR ' . $val;
                }
            }
        }else {
            $where = $keywords;
        }
        $search = $xs->search;
        
        $result =  $xs->search->setQuery($where)
             //->setSort('sku_id','asc') #按索引排序
            ->setDocOrder(true) #按添加索引排序（升序）
            ->setLimit($limit)
            ->search();

        $search->close();
        return $result;
    }

    /**
     *  新增/更新/删除 xunsearch 数据库
     * @param array $data
     * @param string $file ini文件名
     * @param string $tag 'add':新增；'update':更新；'[主键ID]':删除
     * @return bool
     */
    public function save($data,$file = 'demo',$tag = 'add'){
        try {
            $xs = new \XS($file);
            #创建文档对象
            $doc = new \XSDocument;
            $doc->setFields($data);

            #更新（新增）数据
            $index = $xs->index;
            if ($tag == 'add'){
                $index->add($doc);
            }elseif ($tag == 'update'){
                $index->update($doc);
            }else{
                // 此处，传来的是作为主键的值
                $index->del($tag);
            }
            #强制刷新当前索引列表数据
            return $index->flushIndex();
        }catch (\Exception $e){
            return false;
        }
    }
}

新建类名可自定义，基本没啥疑问

4). 增加索引的操作

  • 在商品 SKU 数据操作变化的业务逻辑位置，添加如下代码：
    （注意传参的不同，此处只是演示了增加的操作）
$xs_data = [
	            'sku_id' => $sku_ID,
	            'spec_name' => $spec_name
          ];
$xsService = new XunsearchService();
$xsService::save($xs_data,'goods_sku');

提示

  • 如果操作成功，你会在 xunsearch服务端的 "data"目录下发现一个 "goods_sku" 的文件夹

5). 索引查询操作

  • 在需要进行查询操作的位置，补充如下代码：
    （后续便是根据返回的数组，然后匹配业务数据表的 sku_id ,进行商品信息的展示了 …）
$xsService = new XunsearchService();
try {
     $message = $xsService::search('我找原味的瓜子和爆款蓝牙', 'goods_sku', true);
 } catch (\XSException $e) {
     $message = $e->getMessage();
 }
 var_dump($message);

☞ 附录

①. 代码检索测试

  • 首先，我触发"$xsService->save()" 事件，得到了六个数据
    然后，在查询操作时，置空 "$xsService::search()" 的第一个参数可得到如下数据：
  • 在此，我设置查询的文字为："我找原味的瓜子和爆款蓝牙"
    代码处理，得到的查询语句为："我找 OR 找 OR 原味 OR 的 OR 瓜子 OR 和 OR 和爆 OR 爆款 OR 款 OR 蓝牙"
    运行匹配得到的结果集如下：

从结果上来看，还是可以接受的

不过，此处可以注意到拆分的名词还是差点意思，可对比参考下 —— 【HanLP 在线演示】

②. 全文检索应用场景

  • 首先，再次明确一下 “全文检索” 概念
  创建索引，
  然后查询索引的过程我们称之为全文检索，
  索引一次创建可以多次使用，这样就不用了每一次都进行文件数据查分，比较快
  • 其次便是 “全文检索” 的应用场景
  1. 搜索引擎：百度，360，谷歌等等
  2. 站内搜索：论坛搜索评论，微博搜索热点，新闻网站搜索新闻
  3. 电商搜索：淘宝，京东

有搜索的地方都可以用到全文检索

  • 举一个我们电商项目中的场景
  小程序首页提供商品搜索功能
  设计时，需要满足:
  	有足够商品时就显示商品
  	不够时，也可以展示相关文章
  那么设计思路如下：
  	1. 在商品添加时，就将 goods_id,goods_name,type=1(标记为商品) 添加到 xunsearch 索引文档中
  	2. 同时，在添加文章时，将 article_id,title,type=2(标记为文章) 也添加到 xunsearch 索引文档中
  	3. 用户在首页输入信息时，触发 search 查询事件
  	4. 在 search 查询事件中，定义按照 type 升序获取前 20 条记录
  	    然后，根据数据匹配数据库中的 商品及文章（图片/标题/主键ID）
  	    最终，在前端的搜索列表中展示出来
  	    满足用户点击后，直接进入对应的详情页面

补充：

  • 可以参考百度搜索的结果：将得到的信息，使用正则表达式 高亮显示匹配的词汇
  • 注意，对存在索引的更新、删除操作，避免冗余数据的产生
    后期根据自己的业务需求进行拓展 …

③. 一点点拙见

提示： 目测官方没有好的精力去升级优化，论坛也没法访问，好多问题找不到探讨 ...

  • 忍不住吐槽

    学习过程中
    网上的例子比较少，遇到问题不好解答
    比较失望的是，官方文档说的不清楚，需要多次测试，碰运气的感觉
    好歹给个参考实例，演示代码实现过程吧！！

  • 再给个赞赏

    话又说回来
    作为开源项目为大家提供便利
    本身就是值得赞赏的，太过吹毛求疵就不好了！

希望，同道中人少踩几个坑，共同进步，谢谢 ...

moTzxx
关注
专栏目录
mysql全文索引thinkphp_ThinkPHP5 使用迅搜 (XunSearch) 实现全文检索实例指导
weixin_35308269的博客
02-07 919
前期准备入坑了一天，折腾的无语，个人观点：【文档太差，适合学习思路，不建议入坑】背景最近在整理全文检索解决方案注意到 xunsearch 的评价很高，在此记录一番场景描述此处作为对 xunsearch 的初次使用，以一个简单的商品 SKU 信息搜索场景进行描述我已有一张 tp5_xsku表，用来存储商品 SKU 信息主键为 "sku_id"，需要进行匹配的字段为："spec_name" 环境PHP...
如何在thinkphp使用xunsearch
liangzhi的博客
08-17 2057
如何在thinkphp框架中使用xunsearch全文搜索引擎 来在 https://www.3maio.com/w-detail/8 注意： 该文档是基于https://github.com/ShaoZeMing/xunsearch-laravel封装的xunsearch的SDK前提： 安装好xunsearch服务器端安装xunsearch-laravel SDK的步骤 使用composer安
Xunsearch的使用总结
HoeWang的博客
03-08 1427
安装# xunSearch 讯搜 ## 1、安装       1.下载并解压              地址：wget http://www.xunsearch.com/download/xunsearch-full-latest.tar.bz2               tar-xjf xunsearch-full-latest.tar.bz2              2.执行安装脚本   ...
[xunsearch] 在thinkphp中使用xunsearch
weixin_30768661的博客
04-11 219
file: XunSearchController.class.php <?php namespace Home\Controller; include '/opt/xunsearch/sdk/php/lib/XS.php'; class XunSearchController extends HomeController{ public function index...
tp5使用xunsearch
weixin_41412505的博客
09-17 1353
tp5使用xunsearch xunsearch安装 部署时因项目原因服务器分两台（后端服务器，数据库服务器），以下内容在数据库服务器创建 mkdir /usr/src/xunsearch cd /usr/src/xunsearch wget http://www.xunsearch.com/download/xunsearch-full-latest.tar.bz2 然后解压、安装 tar -xjf xunsearch-full-latest.tar.bz2 cd /usr/src/xuns
mysql全文索引thinkphp_tp5整合xunsearch全文检索
weixin_33694136的博客
02-07 334
应用场景：大量数据的模糊搜索，数据统计分析等场景，xunsearch的索引中只维护id和检索字段，例如id和content，可以保证索引的简单易维护性和命中速度，同时可以根据id字段配合mysql精确查找数据，单表100万数据保守测试性能是mysql的10倍以上运行环境：centos7首先安装依赖，烦，好像还需要zlib， 就直接yum install zlib*yum install gcc-c...
thinkphp 利用中文分词和全文索引技术实现搜索
最新发布
胡西风的博客
01-31 321
以前搜索功能一直使用的是 like 模糊查询，这种虽然操作简便，但是效果不好，需要搜索整个库，不如使用全文索引便捷，本文档是利用中文分词加上 mysql 的全文索引实现搜索功能。使用的框架是 thinkphp3.2。使用到的函数 (放在 / app/Common/function.php 里)插入文章时代码（修改和删除不写了，一个道理）
Ksearch:thinkphp分词全文检索全文搜素，利用PullWord分词接口。
03-23
搜索 thinkphp分词全文检索全文搜素，利用PullWord分词接口。对齐TNTSearch数据库思路。精确匹配结果。 简单调用建议分页查询，每篇长文章，几千句话不是闹着玩的。 安装htmlpurifier $作曲家需要ezyang / htmlpurifier <?php namespace app\search\controller; use think\Controller; use think\Request; use think\Db; use Ksearch\Ksearchmysql; use think\facade\Cache; use think\facade\Debug; ini_set('max_execution_time',0); class Index extends Controller { /** * 显示资源列表 *
ThinkPHP实现ajax仿官网搜索功能实例
10-25
本文将以“ThinkPHP实现ajax仿官网搜索功能实例”为核心，详细讲解如何利用ThinkPHP框架结合ajax技术实现一个类似于官网搜索的功能。 ### ThinkPHP框架简介 ThinkPHP是一个开源的、快速的、简单的和安全的PHP开发...
thinkPHP5使用Rabc实现权限管理
01-02
在之前我们已经了解了think3.2Rbac的权限管理操作，但是在thinkPHP5中thinkPHP没有内置Rabc操作，所以我们需要使用一个thinkPHP的Rbac拓展来实现权限管理，在thinkPHP中我们可以使用gmars/tp5-rbac拓展来实现权限...
tp5(thinkPHP5框架)使用DB实现批量删除功能示例
01-20
本文实例讲述了tp5(thinkPHP5框架)使用DB实现批量删除功能。分享给大家供大家参考，具体如下： 1-前端页面 html </i> 批量删除 <td><input type=checkbox value={$category.id} name=id> js function ...
mysql全文索引thinkphp,tp5 整合 xunsearch 全文检索
weixin_35702486的博客
03-23 375
tp5 整合 xunsearch 全文检索应用场景: 大量数据的模糊搜索, 数据统计分析等场景, sunsearch 的索引中只添加 id 和搜索字段, 例如: id 和 content, 可以保证索引的简单性和匹配的效率, 同时可以根据 id 字段配合 mysql 精确查找数据, 保守测试性能是 mysql 的 10 倍以上运行环境: centos7首先安装依赖, 烦, 好像还需要 zlib, ...
迅搜(XunSearch)+ThinkPHP5实现标题的拼音或拼音首字母缩写搜索
chuangfankuang0896的博客
03-13 662
这是两年前学习Coreseek时在问答区问的一个问题： https://www.oschina.net/question/252582_173810 当时只是想了下，但没去做，现在学迅搜，又想到这个问题，干脆还是试试把它给做了吧 ^_^ 1、数据表字段 2、ThinkPHP5的m...
php 使用xunsearch--迅搜
j_xx4409的博客
01-31 759
运行下面指令下载、解压安装包 Info:出于性能和多数需求考虑xunsearch服务端和 SDK API 通讯时没有加密和验证处理， 并且默认情况xs-ctl.sh启动的服务程序是绑定并监听在127.0.0.1上。 如果您的 SDK 调用和xunsearch服务端不在同一服务器，请使用 -b inet 方式启动脚本， 并注意借助类似iptables的防火墙来控制xunsearch的8383/8384两个端口的访问权限。 启动脚本用法举例如下，以下均为合法使用...
Thinkphp5、6添加Mysql全文搜索功能
未来博客
09-16 2318
Mysql可以全文索引搜索，但Thinkphp原生不支持，需要我们自己写原生SQL语句，我琢磨了半天，在原有的SQL解析核心代码中添加了相关代码使其支持链式操作的方法来进行全文索引，这些操作是基于Thinkphp5的，Thinkphp6理论上也通用
php mysql 全文检索_PHP+MYSQL实现全文检索_MySQL
weixin_33037813的博客
01-28 352
使用分词类库，分词类库请参见：http://www.xunsearch.com/scws/如何使用PHP实现全文检索功能？很多人可能马上可以想出几种方案，比如：文件检索法、采用SQL的like语句等方法，但这些方法效率都相当的低。这里介绍一种比较高效的PHP全文检索实现方法，这就是采用MYSQL的FULLTEXT字段类型。但是MYSQL的FULLTEXT字段对中文的支持不是很好，本文也一并介绍如何...
php汉字首字母缩写,迅搜(XunSearch)+ThinkPHP5实现标题的拼音或拼音首字母缩写搜索...
weixin_30082413的博客
03-09 676
这是两年前学习Coreseek时在问答区问的一个问题：当时只是想了下，但没去做，现在学迅搜，又想到这个问题，干脆还是试试把它给做了吧 ^_^1、数据表字段 2、ThinkPHP5的model里做 py_whole和 py_acronym 的自动完成namespace app\xxx\model;use think\Model;use search\XunSearch;// 参照迅搜官方给 Yii...
xunsearch php实例,xunsearch系列(一)安装篇
热门推荐
weixin_33416697的博客
03-12 1万+
先来了解一下什么是全文检索(全文搜索)？全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。一、什么是xunsearch？概况xunsearch是一个以GPL协议开源发布的高性...
php 全文搜索
05-27 264
require($_SERVER['DOCUMENT_ROOT'] . '../smshotactive.inc.php'); //$str = mb_ereg_replace('(??| )+$', '', $str); //echo mb_ereg_replace('????', "\n????", $str); //?? //$keyword=trim($_POST[?°
thinkphp5 使用代码实现扫码登录
05-18
要实现扫码登录，需要以下步骤： 1. 生成登录二维码 2. 将二维码展示给用户 3. 用户扫描二维码后，将二维码信息发送到后台 4. 后台根据二维码信息判断用户是否已扫描，并返回登录状态 下面是一个使用 ThinkPHP5 实现扫码登录的示例代码： 1. 生成登录二维码 ```php use Endroid\QrCode\QrCode; public function generateQrCode() { // 生成随机字符串作为二维码内容 $qrCodeContent = md5(uniqid(mt_rand(), true)); // 存储二维码内容到 Redis，并设置过期时间 Redis::setex($qrCodeContent, 180, 'waiting'); // 生成二维码图片并输出 $qrCode = new QrCode($qrCodeContent); return response($qrCode->writeString(), 200, [ 'Content-Type' => $qrCode->getContentType(), ]); } ``` 2. 将二维码展示给用户 将上一步生成的二维码图片展示给用户即可。 3. 用户扫描二维码后，将二维码信息发送到后台 用户扫描二维码后，会将二维码内容发送到后台。可以通过 AJAX 请求实现。 4. 后台根据二维码信息判断用户是否已扫描，并返回登录状态 ```php public function checkQrCode() { $qrCodeContent = input('post.qrCodeContent'); // 从 Redis 中获取二维码状态 $qrCodeStatus = Redis::get($qrCodeContent); if ($qrCodeStatus === false) { // 二维码不存在或已过期 return json(['status' => 'expired']); } elseif ($qrCodeStatus === 'waiting') { // 用户还未扫描二维码 return json(['status' => 'waiting']); } else { // 用户已扫描二维码，可以进行登录操作 Redis::del($qrCodeContent); // 删除二维码信息 return json(['status' => 'success']); } } ``` 以上代码仅为示例，具体实现方式可以根据实际需求进行调整。同时需要注意，示例代码中使用了 Redis 存储二维码信息，需要在项目中安装 Redis 扩展并进行配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值