mysql全文索引中英文混合_PHP+mysql数据库开发搜索功能：中英文分词+全文检索（MySQL全文检索+中文分词（SCWS））...

最新推荐文章于 2022-12-23 15:27:11 发布
最新推荐文章于 2022-12-23 15:27:11 发布
阅读量584 收藏
点赞数
文章标签： mysql全文索引中英文混合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31614753/article/details/113146211
版权

PHP+mysql数据库开发类似百度的搜索功能：中英文分词+全文检索

中文分词：

i.  Robbe完整版本下载：Robbe完整版本(PHP测试程序, 开发帮助文档, WinNT下php各版本的dll文件)下载: http://code.google.com/p/robbe(“谷歌”无法使用)

c)   MFSOU中文分词PHP扩展: http://php.mfsou.com/(网站打不开，无法访问)

综上：只能使用SCMS中文分词了。

3. 全文检索

a)  MySQL全文检索(支持英文分词)

i.  http://www.jcodecraeer.com/a/shujuku/2012/0728/324.html

ii.  需要进一步学习MySQL全文检索

b) Sphinx:基于SQL的全文检索引擎

ii. Sphinx是一个基于SQL的全文检索引擎，可以结合MySQL,PostgreSQL做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口，如PHP,Python,Perl,Ruby等，同时为MySQL也设计了一个存储引擎插件。

i. 目前后端服务器只支持 UNIX (含Linux/BSD/MacOS等) 操作系统，前端开发包只支持 PHP 语言。

ii. Xunsearch 可以帮助您建立门户/垂直搜索/论坛搜索/WEB站内搜索/文档文献资料搜索等。

php_scws.dll/Win32 安装说明

1. 根据您当前用的 PHP 版本，下载相应已编译好的 php_scws.dll 扩展库。

目前支持 PHP-4.4.x 和 PHP-5.2.x 系列，下载地址分别为：

php-4.4.x: http://www.xunsearch.com/scws/down/php-4.4.x/php_scws.dll

php-5.2.x: http://www.xunsearch.com/scws/down/php-5.2.x/php_scws.dll

php-5.3.x: http://www.xunsearch.com/scws/down/php-5.3.x/php_scws.dll

2. 将下载后的 php_scws.dll 放到 php 安装目录的

extensions/ 目录中去(通常为：X:/php/extensions/或 X:/php/ext/)。

3. 建立一个本地目录放规则集文件和词典文件，建议使用：C:/program files/scws/etc

4. 从 scws 主页上下载词典文件，解压后将 *.xdb 放到上述目录中

词典系列：http://www.xunsearch.com/scws/down/scws-dict-chs-gbk.tar.bz2

http://www.xunsearch.com/scws/down/scws-dict-chs-utf8.tar.bz2

http://www.xunsearch.com/scws/down/scws-dict-cht-utf8.tar.bz2

5. 从 scws 主页上下载规则集文件，解压后将 *.ini 放到第 3 步建立的目录

规则集文件压缩包：http://www.xunsearch.com/scws/down/rules.tgz

解压后有三个文件分别为 rules.ini rules.utf8.ini rules_cht.utf8.ini

将三件文件拷到第 3 步所述的目录中

6. 修改 php.ini 通常位于 C:/windows/php.ini 或 C:/winnt/php.ini 之类的目录，

在 php.ini 的末尾加入以下几行：

[scws]

;

; 注意请检查 php.ini 中的 extension_dir 的设定值是否正确, 否则请将 extension_dir 设为空，

; 再把 php_scws.dll 指定为绝对路径。

;

extension = php_scws.dll

scws.default.charset = gbk

scws.default.fpath = "c:/program files/scws/etc"

5. 重开 web 服务器即可完成。

scws添加新词语(添加自定义的词语)思路：利用scws的工具，把现有词库导出为txt,然后修改txt,再把txt转换成xdb文件(这个导入几天下来也没有成功)

SCWS提供了词库XDB导出导入词库的工具，下载后解压至任意文件夹，我解压至php安装目录下。在命令行下进入您PHP的安装目录，我的目录是”D:/wampServer/wamp/bin/php/php-5.3.29-Win32-VC9-x86“。

dict.txt中文本格式为：

# WORD    TF    IDF    ATTR

当机立断    14.01    8.10    i

#开头的行是注释。每行是一个词。每个词分为四部分，WORD列是词本身，TF和IDF列是词权重，ATTR列是词性。

在这里要解释下TF和IDF的意思，它们合起来称作TF-IDF(term frequency– inverse document frequency)，是一种用于资讯检索与资讯探勘的常用加权技术，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用分类。说起来很不好理解，其实也不需要理解，SCWS也提供了新词生词的TF/IDF计算器，可以自动获得词语的权重值。

ATTR是词性，也就是标示词语是名字、动词、形容词等等词性的。详细的词性标示方法请看SCWS的说明：词典词性标注详解

步骤1：执行命令行，将词库先导出来，生成一个文本文件(dict.txt)

命令格式为：php dump_xdb_file.php  [要存入的文本文件]我的命令语句是(路径跳转到php安装路径下d:,cdD:/wampServer/wamp/bin/php/php-5.3.29-Win32-VC9-x86)：

php dump_xdb_file.phpC:/"Program Files"/scws/etc/dict.xdb d:/123.txt

几秒后在d:目录下我就获得了导出的纯文本文件123.txt。

导入词库命令：命令格式为：php make_xdb_file.php  [导入的文本文件]

phpmake_xdb_file.php C:/"Program Files"/scws/etc/dict2.xdb d:/123.txt

生成xdb文件的过程需要比较长的时间，请耐心等待，如下图

15542ef7df5ec6305115c4b41f3427c6.png

我遇到问题(目前还没有解决)：

我用scws中文分词自定义词库导入出错如下：

Notice: Undefined index :part in make_xdb_file.php on line 92

Notice: Undefined index :tf in make_xdb_file.php on line 93[/color]

修改了make_xdb_file.php文件90行foreach(){},“{}”中内容为：[php]

foreach ($rec[$k] as $w => $v)

{

$flag = (isset($v['tf']) ? 0x01 : 0);

if (isset($v['part'])) {

if($v['part']){

$flag |= 0x02;

}

}

$tf=(isset($v['tf'])) ? $v['tf']:'' ;

$idf=(isset($v['idf'])) ? $v['idf']:'';

$attr=(isset($v['attr'])) ? $v['attr']:'';

$data = pack('ffCa3', $tf, $idf, $flag, $attr);

//$data = pack('ffCa3', $v['tf'], $v['idf'], $flag, $v['attr']);

$xdb->Put($w, $data);

$cnt++;

}[/php]

上面问题解决，但cmd中运行到Inserting [63/64] ... 33434 Records saved.又开始出现问题：(xdb.class.php文件)：[color=#FF4500]Notice：User of undefined constant key-assumed 'key' in xdb.class.php(447):runtime-created function on line 1[/color]

不知道如何解决。

问题截图：

415e44407da473f7cbfe0da526856562.png

打开php.ini 文件，找到date.timezone =PRC。去掉date.timezone前面的分号“;”。

f4b69cbd3579086c88bb215c6ddd3241.png

修改了make_xdb_file.php 文件90行foreach(){},“{}”中内容为：

foreach ($rec[$k] as $w => $v)

{

$flag = (isset($v['tf']) ? 0x01 : 0);

if (isset($v['part'])) {

if($v['part']){

$flag |= 0x02;

}

}

$tf=(isset($v['tf'])) ? $v['tf']:'' ;

$idf=(isset($v['idf'])) ? $v['idf']:'';

$attr=(isset($v['attr'])) ? $v['attr']:'';

$data = pack('ffCa3', $tf, $idf, $flag, $attr);

//$data = pack('ffCa3', $v['tf'], $v['idf'], $flag, $v['attr']);

$xdb->Put($w, $data);

$cnt++;

}

又出现新问题：

e62064ae845652676ec63241aa1016c0.png

这个问题还没有解决。导入词库失败。

参考：http://blog.sina.com.cn/s/blog_54fd6b710101as5c.html

http://blog.sina.com.cn/s/blog_7d2117080102uyeu.html

排骨小仙女oho
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql全文索引中英文混合_mysql解决全文索引匹配中文
weixin_36445866的博客
01-18 552
mysql默认全文索引的分割关键字方式使用空格切割，因为中文不会使用空格作为词语分割，所以需要特别指定切割方式，因此就使用ngram插件建表语句：create table t_content(id int(11) primary key auto_increment,content text,fulltext f_c(content) with parser ngram);特别强调：fulltex...
全文索引的简单实现PHP版本
04-15
一般现在的搜索引擎分为两部分，一部分是是分词，另外一部分是建立全文索引，全文索引就是基于分词结果给没一个词都建立一个索引，我这里基于hash索引简单实现了一下全文索引
mysql全文索引中英文混合_mysql 设置全文索引遇到的几个坑
weixin_29331985的博客
01-25 651
做了一个小项目，需要一个检索功能，考虑到项目的性质，不需要弄的太复杂，所以采用mysql全文索引来做，本来以为设置个fulltext全文索引就完事儿了，没想到坑是一个接一个，把遇到的坑写下来，做一个记录我的mysql版本：5.7.16 InnoDB； 注意：数据库版本要大于等于MySQL5.7.6，不然不支持InnoDB类型。找到需要添加索引的字段，设置全文索引，结果啥也搜索不出来。有一下原因...
Mysql建立中英文全文索引（mysql5.7以上）
追风2019
05-07 3214
一、概念        使用索引是数据库性能优化的必备技能之一。在MySQL数据库中，有四种索引：主键索引、普通索引、唯一索引以及我们这里将要介绍的全文索引（FUNLLTEXT INDEX）。         MySQL全文检索是利用查询关键字和查询列内容之间的相关度进行检索，可以利用全文索引来提高匹配的速度。        全文索引（也称全文检索）是目前搜索引擎使用的一种关键技术。它能够利用【分...
mysql base64 图片php_robbe+base64+Mysql简易有效的php全文索引实现
weixin_39750195的博客
01-27 109
确实有很多方法来给php提供全文索引功能。例如：1。solr或者lucene，(需要安装对应的php客户端扩展)。2。sphinx3。基于任何一个数据库(key/value的最好)的模拟实现。4。Mysql的全文索引。5。自己给php加上全文索引扩展。(就因为这一点，可以说有太多的实现方法了)本文要介绍的是第四种，使用MySQL的全文索引来实现php的全文检索功能。一。前提MySQL数据表引擎要是...
PHP mysql fulltext 全文索引
成长中de大神
04-14 342
注意事项 如果可能，请尽量先创建表并插入所有数据后再创建全文索引，而不要在创建表时就直接创建全文索引，因为前者比后者的全文索引效率要高。 show variables like 'ft%';查看mysql配置ft_min_word_len检索最小单位长度，默认为4，更改为1,然后重启mysql，必须重建所有fulltext index（这个很重要，不重建可能会不生效） sql写法 直接检索： where MATCH (title,content) AGAINST ('关键字' in boolean mo
PHP全文索引 讯搜xunsearch
CyborgLin的博客
10-16 1103
PHP实现全文索引，使用讯搜（官方网站http://www.xunsearch.com/） 1.安装 目前讯搜只能安装在linux系统，官方安装文档：http://www.xunsearch.com/doc/php/guide/start.installation 安装步骤： # 下载安装包 wget http://www.xunsearch.com/download/xunsearch...
php全文搜索视频教程,php如何做全文搜索和替换
weixin_39679718的博客
03-10 103
php如何做全文搜索和替换exec("/bin/grep -r '$oldWord' $rootpath", $results, $errorCode);if ($errorCode){if ($errorCode == 1){echo "Possibly no files were found with $oldword in them\n";}echo "OS Error: $errorCod...
PHP简单实现中文分词全文索引实例(tag专题)
精彩人生
02-02 2263
相信很多人都研究过MYSQL的中文全文分词索引问题，目前MYSQL不支持中文全文索引，无奈~~~ 网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的，对于一般的菜鸟根本不知道怎么使用，PHP中文分词有DDEDE的，DEDE的词库不是很强大，还算可以用吧！ 还有一个是《SCWS - 简易中文分词系统》这个目前对于一般菜鸟根本不知道怎么用，虽然有人编译了Windows版的，但安装
php 支持全文索引,php - 如何为列创建全文索引？
weixin_39618730的博客
03-21 114
这是我当前的迁移:class News extends Migration{public function up(){Schema::create('News', function (Blueprint $table) {$table->increments('id');$table->string('title');$table->text('description');$ta...
快速构建PHP全文检索——马明练
03-04
信息检索，全文检索，IR基础，反向索引，同步机制，批量处理
mfsou PHP扩展(中文分词) v0.2
10-25
mfsou PHP扩展现有两个函数：中文分词函数nnabc_fenci()；IP地址查询函数nnabc_ipaddr()。中文分词使用一个函数直接分词，使中文分词更容易更简单；PHP扩展级的IP地址查询函数，查询IP地址速度更快。演示：查看 http://php.mfsou.com/  中的"使用说明"中代码演示。
PHP+Sphinx+MySQL实现全文检索
jartins的博客
05-02 5952
理论篇 sphinx 可以解决 站内搜索的应用场景（用来生成索引数据，为后续的高效搜索做铺垫） sphinx 简介 sphinx是一个基于SQL(mysql sqlserver... )的全文检索引擎，它提供了比数据库更加专业的搜索功能，并且sphinx特别为一些脚本语言设计了搜索的API接口吗，比如PHP、Ruby、Python等，同时为MySQ...
php全文索引算法,PHP+MYSQL简单实现中文分词全文索引,dedecms范例
weixin_39987313的博客
03-19 156
废话不多说了，首先去DEDE下载分词算法函数和词库；下载地址：http://www.dedecms.com/html/chanpinxiazai/20061229/3.html里面有详细的使用说明，我在这里举一个使用的例子；MYSQL表名：music字段：title,tagrequire("lib_splitword_full.php");$str = "这里是你要分词的内容，一般不要超过1024...
php 全文检索方案,介绍一种比较高效的PHP全文检索实现方法
weixin_39644915的博客
03-22 769
这里介绍一种比较高效的PHP全文检索实现方法，这就是采用MYSQL的FULLTEXT字段类型。但是MYSQL的FULLTEXT字段对中文的支持不是很好，本文也一并介绍如何通过PHP+MYSQL实现中文全文检索功能如何使用PHP实现全文检索功能?很多人可能马上可以想出几种方案，比如：文件检索法、采用SQL的like语句等方法，但这些方法效率都相当的低。这里介绍一种比较高效的PHP全文检索实现方法，这...
PHP检索
代码存档
01-09 650
<form method="post" action="#">     <input type="text" name="search">     <input type="submit"> </form> <section id="s1">&
PHP MySQL 进行全文索引的时候提示False,Syntax error, unexpected ‘@‘, expecting $end 的错误解决方案
20年PHP开发经验
12-23 471
有点措手不及，检查了一下代码，PHP代码应该不可能有问题，那么只能是MySQL了，提示@字符错误，我想到了在全文索引编码时因为考虑到+号比较麻烦，所以都替换成了@符号。而刚好今天把表格式从MyISAM换成了InnoDB，看来两个引擎对全文索引的处理是不太一样的。
SCWS中文分词，向xdb词库添加新词
weixin_34309543的博客
04-21 240
SCWS是个不错的中文分词解决方案，词库也是hightman个人制作，总不免有些不尽如人意的地方。有些词语可能不会及时被收入词库中。　　幸好SCWS提供了词库XDB导出导入词库的工具（phptool_for_scws_xdb.zip），下载后解压至任意文件夹，我解压至“E:/www/tools/scws_xdb/”目录下。在命令行下进入PHP的安装目录，我的目录是”E:/xampp/php“。  ...
mysql 全文索引模糊搜索 中文
最新发布
08-30
你可以使用MySQL的全文索引功能进行中文的模糊搜索。首先，确保你的MySQL版本是5.7或以上的版本，并且使用的是InnoDB存储引擎。 要使用全文索引，首先需要在你的表中创建全文索引。例如，你有一个名为"articles"的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值