Postgresql全文检索

最新推荐文章于 2024-07-31 14:54:44 发布
最新推荐文章于 2024-07-31 14:54:44 发布
阅读量3.5k 收藏 2
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/djskl/article/details/37912487
版权

1、环境

Fedora 20 + Postgresql 9.3.4 + scws 1.2.2 + zhparser

2、安装

2.1 scws

  • wget -q -O - http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2• tar xjf - cd scws-1.2.1
  • ./configure --prefix=/usr/local #该路径为scws的安装路径
  • make install

2.2 zhparser

  • git clone https://github.com/amutu/zhparser.git
  • SCWS_HOME=/usr/local/scws make && make install

3、配置

[root@localhost ~]# su postgres
[postgres@localhost ~]$ psql
psql (9.3.4)
Type "help" for help.
postgres=# CREATE EXTENSION ZHPARSER;
postgres=# CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);
postgres=# ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a WITH simple;
注：此处的n,v, a为词性(名词、动词、形容词)，分词时会只考虑此处指定的词性，其他诸如介词、动名词会被忽略。scws中的所有词性说明:http://www.xunsearch.com/scws/docs.php#attr，并不是所有的scws中的词性都被支持，如ns(地理名词)是不被支持的。

4、测试

postgres=# SELECT * FROM ts_parse('zhparser', 'hello world!我不是为了输赢,我就是认真');
tokid | token
-------+-------
101 | hello
101 | world
117 | !
114 | 我
118 | 不是
112 | 为了
110 | 输赢
117 | ,
114 | 我
110 | 就是
118 | 认真
(11 rows)
postgres=# SELECT to_tsvector('testzhcfg', 'hello world!我不是为了输赢,我就是认真') @@to_tsquery('认真');
?column?
----------
t
(1 row)
postgres=# SELECT to_tsvector('testzhcfg', '扁担长，板凳宽，扁担没有板凳宽，板凳没有扁担长') @@to_tsquery('板凳');
?column?
----------
t
(1 row)
postgres=# SELECT to_tsvector('testzhcfg', '扁担长，板凳宽，扁担没有板凳宽，板凳没有扁担长') @@to_tsquery('桌子');
?column?
----------
f
(1 row)

5、自定义词库

5.1 自定义字典

工具：XDB导入导出工具(http://www.xunsearch.com/scws/down/phptool_for_scws_xdb.zip)
需要有PHP环境(可在命令行下运行即可，需要有mbstring库)，使用方法请参考压缩包中的readme.txt
scws使用的字典为xdb格式，不可以直接编辑和查看，其对应的文本形式如下：
WORDTFIDFATTR
保障房1.001.00n
其中，WORD即为字典中词；TF为词频，表示该单词在单个文档中出现的频率；IDF为逆词频，表示该单词在其他文档出现的频率；ATTR为词性。TF*IDF的值表示该词的权重，权重大的会被优先看做是一个整体。如：
WORDTFIDFATTR
中央3.003.00n
地方2.002.00n
“中央”的权重(TF*IDF)小于“从中”，所以“从中央”一起出现时，就会分为“从中”和“央”。
WORD，TF，IDF，ATTR之间的分割符是tab，其他的会出错

5.2 zhparser使用自定义词典

方法1：修改/usr/share/pgsql/tsearch_data下的dict.utf8.xdb(保证文件名不变)，不过这种方式耗时较长
借助SCWS提供的工具，可以很快的将dict.utf8.xdb转为普通的文本文件，但将文本文件转回去的时候大约耗时1h左右
方法2：通过增加字典文件来扩展词库
约定
  • 字典文件的命名格式为usr_dict_num.xdb，其中num为序号，从1开始，表示第几个自定义的字典num必须连续，如果出现usr_dict_1.xdb,usr_dict_2.xdb,usr_dict_4.xdb，那么usr_dict_4.xdb及以后num大于4的字典都不会被加载
  • 所有自定义的字典要放在/usr/share/pgsql/tsearch_data下面
  • 新增的字典只要复合以上约定可自动加载，无须重新安装zhparser，也无须重新create extension
修改zhparser.c中的代码
需修改代码：
scws_set_dict(scws,dict_path, SCWS_XDICT_XDB);
修改后代码：
beg=1;
while(1){
snprintf(dict_path, MAXPGPATH, "%s/tsearch_data/usr_dict_%d.xdb",sharepath,beg);
exist=access(dict_path,F_OK);
if(exist==-1)
break;
scws_add_dict(scws, dict_path, SCWS_XDICT_XDB);
beg++;
}
修改zhparser.c，需要增加头文件：#include "unistd.h"
/usr/share/pgsql/tsearch_data该路径视postgresql的安装路径而定

6、建立全文检索的索引

方式1：表达式索引
CREATE INDEX pgweb_idx ON pgweb USING gin(to_tsvector(config_name, body));
CREATE INDEX pgweb_idx ON pgweb USING gin(to_tsvector('english', title || body));
方式2：分离字段索引
ALTER TABLE pgweb ADD COLUMN textsearchable_index_col tsvector;
UPDATE pgweb SET textsearchable_index_col =
to_tsvector('english', coalesce(title,) || coalesce(body,));
CREATE INDEX textsearch_idx ON pgweb USING gin(textsearchable_index_col);
在使用独立字段存储 tsvector 形式的时候，我们需要创建一些触发器以保持 tsvector 字段对 title 和 body 修改的同步。分离字段方式比表达式索引方式的一个优点是它不需要在查询里明确声明文本 搜索的配置就可以使用索引。如上面例子所示，查询可以依赖于default_text_search_config。另 外一个优点是搜索会更快，因为它不需要重新调用 to_tsvector 函数来判断是否和索引匹配。不过， 表达式索引的方法的优点是设置简单，而且它需要的磁盘空间更少，因为 tsvector 表现形式不用明 确存储。

7、实验

数据量:17830826条，约4G
在主键id上执行count查询
postgres=# select count(id) from area_detail;
count
----------
17830826
(1 row)
Time: 25749.020 ms
通过id搜索一条记录
postgres=# select * from area_detail where id = '1601799';
Time: 46.024 ms
通过like搜索数据库记录
postgres=# select * from area_detail where localityname like '%豆沙%';
Time: 25822.282 ms(约25秒)
通过未建索引的全文检索搜索数据库记录
postgres=# select * from area_detail where to_tsvector('testzhcfg',localityname) @@to_tsquery('testzhcfg','豆沙');
Time: 621077.779 ms
通过建立了索引(gin)的全文检索搜索数据库记录
postgres=# select * from area_detail where to_tsvector('testzhcfg',localityname) @@to_tsquery('testzhcfg','豆沙');
Time: 158.971 ms(约0.1秒)

8 参考

  • http://www.xunsearch.com/scws/index.php，感谢hightman大神
  • https://github.com/amutu/zhparser，感谢 amutu大神
  • http://blog.163.com/digoal@126/blog/static/163877040201422410175698/
  • http://www.pgsqldb.org:8079/mwiki/index.php/12._%E5%85%A8%E6%96%87%E6%90%9C%E7%B4%A2
  • http://my.oschina.net/Kenyon/blog/80904
djskl
关注
专栏目录
阿弟 postgresql之全文搜索篇
03-19
根据提供的标题、描述以及部分内文，我们可以提炼出与PostgreSQL全文搜索相关的知识点。下面将对这些知识点进行详细的阐述。 ### PostgreSQL全文搜索简介 PostgreSQL提供了强大的文本搜索功能，其中包括了全文搜索...
Postgresql的全文检索功能
FanMLei的博客
04-17 3324
之前做过一个jieba+whoosh的商品搜索功能，后来发现Postgresql数据库自带有全文检索的功能，那么就尝试使用Postgresql的全文检索功能来实现一次 postgresql配置 环境：Ubuntu16.04 版本：v9.5 外部远程访问： 数据库配置文件路径为 /etc/postgresql/9.5/main需要修改的配置文件为postgresql.conf和pg_hba....
Postgresql 全文检索测试
高矮
05-26 1375
Postgresql:10.11 测试表数据量：3亿 测试使用8c 16g 服务器 创建一张表： create table nt_order ( id int PRIMARY KEY, order_id text, order_time timestamp without time zone, info jsonb ); CREATE SEQUENCE nt_order_id_seq START WITH 1 INCREMENT BY 1 NO MINVALUE NO MAXVALUE C
PostgreSQL——tsearch全文搜索
最新发布
cf_808的博客
07-31 1068
全文搜索（文本搜索）提供了一种可以检索出满足某个查询条件的自然语言文档的能力，并且还可以根据文档的相关性对文档进行排序。最常见的搜索是找出所有包含给出的查询词的文档，并且以它们符合查询的程度排序输出。文本搜索操作符在数据库里已经存在很多年了。PostgreSQL有~、~*和LIKE操作符用于文本数据类型，但是它们缺乏许多现代的信息系统需要的重要功能。
使用PostgreSQL进行中文全文检索
weixin_33759269的博客
04-03 1033
2019独角兽企业重金招聘Python工程师标准>>> ...
Postgresql全文搜索实战
wobupeiai的博客
01-11 567
tsvector tsquery
使用 PostgreSQL 创建全文搜索引擎1
xuejianxinokok的专栏
08-14 538
PostgreSQL 提供了必要的模块，可以组合和创建自己的全文搜索搜索引擎。让我们尝试一下。这是系列文章的第 1 部分，将要在其中探索 PostgreSQL 中的全文搜索功能，并研究我们可以完成多少典型的搜索引擎功能。在第 2 部分中，我们将比较 PostgreSQL 的全文搜索和 Elasticsearch。如果您想跟着并尝试示例查询（推荐这样做，这样会更有趣），代码示例将使用来自 Kaggle 的数据集。该数据集包含 34,000 个电影标题，CSV 格式大小约为 81 MB。
PostgreSQL 中强大的全文搜索
allway2的博客
05-12 3591
这篇博文将引导您了解使用PostgreSQL实现足够好的全文搜索所需的基本部分。 剧透警告：对于那些寻找“好的，只需向我展示一个全文搜索，在 Postgres 中不到 20 行的排名和模糊搜索”的好奇的人，所以你去： SELECT courses.id, courses.title, courses.description, rank_title, rank_description, similarity FROM courses, .
apod_fts:PostgreSQL全文搜索示例
05-09
apod_fts PostgreSQL全文搜索示例。 站点 。模组提供了使用json和jsonb进行全文本搜索的功能。 是PostgreSQL 9.6的修改后的默认文本搜索解析器。正在安装apod_fts是使用apod_fts Web框架用Python编写的Web应用程序。...
wagtail-pg-search-backend：Wagtail CMS的PostgreSQL全文搜索后端
02-06
“wagtail-pg-search-backend”是一个专为Wagtail CMS设计的全文搜索后端，它利用了PostgreSQL数据库的全文搜索功能。这个后端旨在提高Wagtail内容管理系统的搜索性能和功能，使得在大量数据中查找特定信息变得更加...
postgres-full-text:NEWPATH的PostgreSQL全文搜索演示
06-22
PostgreSQL 全文搜索示例 看看在 PostgreSQL 中使用全文搜索。 为准备。 获取设置 你需要安装和 。 如果您使用的是 Mac，我建议您安装和 。 然后你可以简单地运行brew cask install virtualbox vagrant 然后只需...
Postgresql中文分词扩展zhparser安装程序【windows&VS2008;环境】
02-14
使用方法：打开scws-1.2.3\win32里的解决方案文件，里面包括了scws和zhparser，另外一个是scws的php扩展不用编译 zhparser是Postgresql中进行中文分词的常用扩展，网上的相关资料很多，安装的教程也不少，但大多数是linux的，并没有windows的安装介绍。原因有两个方面，一个是本身像这种数据库服务器一般都是linux系统的，另外一个比较致命，zhparser本身并没提供windows环境下的编译工程，连依赖库scws的readme里也建议在linux环境下使用，或者用cygwin或mingw一类工具。对于博主这种只使用windows环境（其实Postgresql也是刚接触），连makefile也搞不明白的真是头大。好在万变不离其中，编译环境只是工具，只要搞清楚个中原理（看代码），移植到windows+VS的环境应该也不是难事（当然这个也只是在轻量级的库下面适用）。下面进入正题： 干货在这里 ① 编译scws：由于 zhparser是基于scws（scws是简易中文分词系统的缩写，它的原理其实很简单，基于词典，将文本中的内容按照词典进行分词，提取关键字等。）做的分词，因此先要编译scws，网上下载下来的源码有vs2008的版本，因此，直接编译，后来出现头文件无法加入的错误，将相关文件编码方式修改成unicode解决（利用notepad++ 编码->转换为UTF-8编码）。 ② 编译zhparser：由于zhparser只提供了linux下面的makefile文件，想着用Mingw去编译，后来因为postgresql所在目录有空格，导致编译过程也失败。只好到vs2008里自建一个工程，建好工程后，首先把scws的头文件和库文件加进去，然后把postgresql的头文件和库文件加进去，设置项目属性为生成dll文件。 ③ 扩展安装：编译成功以后，在postgresql下面运行：create extension zhparser; 提示找不到control文件，在下载的源码文件夹里找到该文件，放到指定目录，再次运行sql，提示找不到dll文件，将dll文件放到指定目录，再运行，提示找不到zhprs_start函数，看来是dll没有正常explort出函数，修改源代码中的相关函数声明，再次运行后，显示成功。但zhparser源文件下其实还有很多文件，包括一个词典文件和ini配制文件，还不知道应该放在何处。 ④ zhparser运行环境配制：运行测试sql语句，发现并没有实现分词，想起来应该是词典位置不正确，到zhparser源码中去搜寻，发现如下代码，看来是放到tsearch_data目录下面，用同样的方法找到ini文件的目录，将它们都放进去，再次运行测试代码，得到正确结果。 测试代码： REATE EXTENSION zhparser; -- make test configuration using parser CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser); ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple; select to_tsvector('testzhcfg','南京市长江大桥');
pg_search：pg_search建立利用PostgreSQL全文搜索功能的ActiveRecord命名范围
02-02
PgSearch构建利用PostgreSQL全文搜索功能的命名范围。 阅读有关介绍PgSearch的博客文章， 为 要求 Ruby2.5+ ActiveRecord 5.2+ PostgreSQL 9.2以上 某些功能的 安装 $ gem install pg_search 或将此行添加到您的...
django-tsvector-field：具有托管存储过程和触发器的tsvector（PostgreSQL全文搜索向量）的Django字段
02-05
tsvector是PostgreSQL中用于全文搜索的关键数据类型，它能够存储经过分词和权重处理的文本，便于进行高效的全文检索。 **描述解析：** 这个库的独特之处在于它提供了托管的存储过程和触发器。这意味着在Django模型...
laravel-scout-postgres：用于Laravel Scout的PostgreSQL全文搜索引擎
02-04
适用于Laravel Scout的PostgreSQL全文搜索引擎 该软件包使使用轻松使用本机PostgreSQL全文搜索功能。内容安装您可以通过composer安装该软件包： composer require pmatseykanets/laravel-scout-postgresLaravel如果...
pg_search构建利用PostgreSQL全文搜索功能的ActiveRecord命名范围-Ruby开发
05-27
pg_search描述PgSearch建立命名作用域，以利用PostgreSQL全文搜索。 阅读有关介绍PgSearch的博客文章，网址为https://content.pivotal.io/blog/pg-search-how-i-learned-to-sto pg_search描述PgSearch构建了利用...
PostgreSQL索引篇 | TSearch2 全文搜索
weixin_63800030的博客
03-11 1843
postgres中的全文搜索（文本搜索）提供了一种可以检索出满足某个查询条件的自然语言文档的能力，并且还可以根据文档的相关性对文档进行排序。最常见的搜索是找出所有包含给出的查询词的文档，并且以它们符合查询的程度排序输出。
Postgres全文搜索功能
weixin_43086579的博客
07-06 451
当构建一个Web应用时，经常被要求加上搜索功能。其实有时候我们也不知道我要搜索个啥，反正就是要有这个功能。搜索确实很重要的特性，这也是为什么像Elasticsearch和Solr这样基于Lucene的数据库越来越流行。这两个是好用，但是在构建Web应用时，有时候感觉像是杀鸡用牛刀。所以我们需要选择轻量好用的东西来搜索。 如何定义足够好用？ 足够好用的搜索...
Postgresql杂谈 23——Postgresql中的全文检索
Hyman的博客
08-30 7790
今天我们来聊一下全文检索，想必做搜索相关业务朋友对这个概念不会陌生，尤其是做搜索引擎，或者类似CSDN、知乎类的社区网站，全文检索是逃不开的业务。文，即文章、文档。全文搜索就是给定关键词，在所有的文档数据中找到符合关键词的文档。不管是哪种业务模式下的全文检索功能，其实大体的实现思路类似，如下所示： 使用文字进行描述，就是： （1）获取原始文档数据。 （2）对文档进行分析，分词（所为分词，就是按照分词符，如空格，将一句话分隔成若干的单词） （3）存档存入数据库，并通...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值