Docker里面的Postgres 14.0 使用中文分词,全文搜索

#https://gitee.com/mirrors/zhparser/tree/master/

postgres文件目录 /usr/lib/postgresql/14/xxxx
#升级先
apt-get update
#安装解压缩软件
apt-get install bzip2
#安装编译工具
apt-get install make
#返回根目录
cd /
#创建一个临时文件夹 这个文件夹后面能不能删除呢?
mkdir zhparsertmp
#下载scws文件,其他版本行不行?没试过
wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
#解压他
tar xvf scws-1.2.3.tar.bz2
#查看解压的文件 cd scws-1.2.3然后ls
cd scws-1.2.3

#编译安装
./configure
#下面这条应该是不要的,上面那个附带了,估计类似一个bat
#make install
#安装源代码
apt-get install postgresql-server-dev-14

#转到对应目录
cd /zhparsertmp
cd zhparser
#编译他
make && make install

#看下这里有多少文件 zhparser
cd /usr/share/postgresql/14/extension

#查找文件
find / -name "postgres.h" -print

#然后去数据库执行
CREATE EXTENSION zhparser

#测试一条试试
SELECT * FROM ts_parse('zhparser', 'hello world! 2010年保障房建设在全国范围内获全面启动,从中央到地方纷纷加大 了保障房的建设和投入力度 。2011年,保障房进入了更大规模的建设阶段。住房城乡建设部党组书记、部长姜伟新去年底在全国住房城乡建设工作会议上表示,要继续推进保障性安居工程建设。');

#添加一个自造词
insert into zhparser.zhprs_custom_word values('保障房');

#添加一个配置
CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);

ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple;

#全文搜索案例
https://help.aliyun.com/document_detail/217587.html
#为表的字段设定分词
create index indexservice_split on public."TableName" using gin (to_tsvector('testzhcfg',upper("ColumName") ));

#查询
select * from public."TableName" t1 where to_tsvector('testzhcfg',upper(t1."ColumName")) @@ to_tsquery('testzhcfg','(防火)') ;

#下载scws文件,其他版本行不行?没试过
wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

上面流程是我亲测可用的,搜索一大堆都是说得很含糊的,这个是完整的,我是使用window 10 - docker desktop - postgresql 14.0 。

或查询

select * from public."TableName" t1 where to_tsvector('testzhcfg',upper(t1."ColumName")) @@ to_tsquery('testzhcfg','防火 | 保障房') ;

与查询

select * from public."TableName" t1 where to_tsvector('testzhcfg',upper(t1."ColumName")) @@ to_tsquery('testzhcfg','防火 & 全国') ;

从一段文本中获取关键字

SELECT * FROM ts_parse('zhparser', '在遥远的银河系有一个叫做地球的星球上面有一个国家叫中国');

SELECT to_tsquery('testzhcfg', '在遥远的银河系有一个叫做地球的星球上面有一个国家叫中国');

SELECT to_tsvector('testzhcfg', '在遥远的银河系有一个叫做地球的星球上面有一个国家叫中国');

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用方法:打开scws-1.2.3\win32里的解决方案文件,里面包括了scws和zhparser,另外一个是scws的php扩展不用编译 zhparser是Postgresql中进行中文分词的常用扩展,网上的相关资料很多,安装的教程也不少,但大多数是linux的,并没有windows的安装介绍。原因有两个方面,一个是本身像这种数据库服务器一般都是linux系统的,另外一个比较致命,zhparser本身并没提供windows环境下的编译工程,连依赖库scws的readme里也建议在linux环境下使用,或者用cygwin或mingw一类工具。对于博主这种只使用windows环境(其实Postgresql也是刚接触),连makefile也搞不明白的真是头大。好在万变不离其中,编译环境只是工具,只要搞清楚个中原理(看代码),移植到windows+VS的环境应该也不是难事(当然这个也只是在轻量级的库下面适用)。下面进入正题: 干货在这里 ① 编译scws:由于 zhparser是基于scws(scws是简易中文分词系统的缩写,它的原理其实很简单,基于词典,将文本中的内容按照词典进行分词,提取关键字等。)做的分词,因此先要编译scws,网上下载下来的源码有vs2008的版本,因此,直接编译,后来出现头文件无法加入的错误,将相关文件编码方式修改成unicode解决(利用notepad++ 编码->转换为UTF-8编码)。 ② 编译zhparser:由于zhparser只提供了linux下面的makefile文件,想着用Mingw去编译,后来因为postgresql所在目录有空格,导致编译过程也失败。只好到vs2008里自建一个工程,建好工程后,首先把scws的头文件和库文件加进去,然后把postgresql的头文件和库文件加进去,设置项目属性为生成dll文件。 ③ 扩展安装:编译成功以后,在postgresql下面运行:create extension zhparser; 提示找不到control文件,在下载的源码文件夹里找到该文件,放到指定目录,再次运行sql,提示找不到dll文件,将dll文件放到指定目录,再运行,提示找不到zhprs_start函数,看来是dll没有正常explort出函数,修改源代码中的相关函数声明,再次运行后,显示成功。但zhparser源文件下其实还有很多文件,包括一个词典文件和ini配制文件,还不知道应该放在何处。 ④ zhparser运行环境配制:运行测试sql语句,发现并没有实现分词,想起来应该是词典位置不正确,到zhparser源码中去搜寻,发现如下代码,看来是放到tsearch_data目录下面,用同样的方法找到ini文件的目录,将它们都放进去,再次运行测试代码,得到正确结果。 测试代码: REATE EXTENSION zhparser; -- make test configuration using parser CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser); ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple; select to_tsvector('testzhcfg','南京市长江大桥');
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值