Postgresql增加zhparser扩展

最新推荐文章于 2025-03-13 17:35:54 发布

nmxiaocui

最新推荐文章于 2025-03-13 17:35:54 发布

阅读量924

点赞数 24

文章标签： postgresql 数据库

本文链接：https://blog.csdn.net/nmxiaocui/article/details/144967980

版权

概述

zhparser 是一个支持中文全文检索的 extension，基于Simple Chinese Word Segmentation(SCWS) 上开发的

依赖

bzip2 gcc gcc-c++ make unzip zip vim pg开发包（postgresql12-devel）

SCWS安装

下载文件：http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2

解压安装：

tar xvf scws-1.2.2.tar.bz2
cd scws-1.2.2
./configure
make install

zhparser安装

准备：

设置环境变量

PG_HOME=/opt/PostgreSQL/9.6

PG_BIN=/opt/PostgreSQL/9.6/bin

PATH=$PATH:$PG_BIN

下载zhparser:https://github.com/amutu/zhparser/archive/master.zip

解压并进入解压目录，执行命令：

SCWS_

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

nmxiaocui

关注关注

24
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Postgresql中文分词扩展zhparser安装程序【windows&VS2008;环境】

02-14

使用方法：打开scws-1.2.3\win32里的解决方案文件，里面包括了scws和zhparser，另外一个是scws的php扩展不用编译 zhparser是Postgresql中进行中文分词的常用扩展，网上的相关资料很多，安装的教程也不少，但大多数是linux的，并没有windows的安装介绍。原因有两个方面，一个是本身像这种数据库服务器一般都是linux系统的，另外一个比较致命，zhparser本身并没提供windows环境下的编译工程，连依赖库scws的readme里也建议在linux环境下使用，或者用cygwin或mingw一类工具。对于博主这种只使用windows环境（其实Postgresql也是刚接触），连makefile也搞不明白的真是头大。好在万变不离其中，编译环境只是工具，只要搞清楚个中原理（看代码），移植到windows+VS的环境应该也不是难事（当然这个也只是在轻量级的库下面适用）。下面进入正题：干货在这里 ① 编译scws：由于 zhparser是基于scws（scws是简易中文分词系统的缩写，它的原理其实很简单，基于词典，将文本中的内容按照词典进行分词，提取关键字等。）做的分词，因此先要编译scws，网上下载下来的源码有vs2008的版本，因此，直接编译，后来出现头文件无法加入的错误，将相关文件编码方式修改成unicode解决（利用notepad++ 编码->转换为UTF-8编码）。 ② 编译zhparser：由于zhparser只提供了linux下面的makefile文件，想着用Mingw去编译，后来因为postgresql所在目录有空格，导致编译过程也失败。只好到vs2008里自建一个工程，建好工程后，首先把scws的头文件和库文件加进去，然后把postgresql的头文件和库文件加进去，设置项目属性为生成dll文件。 ③ 扩展安装：编译成功以后，在postgresql下面运行：create extension zhparser; 提示找不到control文件，在下载的源码文件夹里找到该文件，放到指定目录，再次运行sql，提示找不到dll文件，将dll文件放到指定目录，再运行，提示找不到zhprs_start函数，看来是dll没有正常explort出函数，修改源代码中的相关函数声明，再次运行后，显示成功。但zhparser源文件下其实还有很多文件，包括一个词典文件和ini配制文件，还不知道应该放在何处。 ④ zhparser运行环境配制：运行测试sql语句，发现并没有实现分词，想起来应该是词典位置不正确，到zhparser源码中去搜寻，发现如下代码，看来是放到tsearch_data目录下面，用同样的方法找到ini文件的目录，将它们都放进去，再次运行测试代码，得到正确结果。测试代码： REATE EXTENSION zhparser; -- make test configuration using parser CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser); ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple; select to_tsvector('testzhcfg','南京市长江大桥');

【PostgreSQL支持中文的全文检索插件(zhparser)】

小怪兽的博客

05-14

3542

PostgreSQL本身是支持全文检索的，提供两个数据类型（tsvector,tsquery），并且通过动态检索自然语言文档的集合，定位到最匹配的查询结果。而一个tsvector的值是唯一分词的分类列表，把一话一句词格式化为不同的词条，在进行分词处理的时候tsvector会自动去掉分词中重复的词条，按照一定的顺序装入。要支持中文的全文检索需要额外的中文分词插件，zhparser就是其中一种，是基于Simple Chinese Word Segmentation(SCWS)中文分词库实现的一个PG扩展。

参与评论您还未登录，请先登录后发表或查看评论

如何在 Docker Postgres 17 中安装 zhparser

最新发布

juzi0551的博客

03-13

319

*注意**: 如果在执行 `ALTER TEXT SEARCH CONFIGURATION` 时遇到报错 `ERROR: duplicate key value violates unique constraint "pg_ts_config_map_index"`, 这通常是因为已经存在名为 `chinese` 的 text search configuration。使用 `to_tsvector` 和 `to_tsquery` 函数测试 `zhparser` 的分词效果。

PostgreSQL中文全文搜索zhparser.zip

07-18

Zhparser 是一个 PostgreSQL 的扩展，用于中文的全文搜索。实现了一个中文解析器，基于 SCWS。标签：zhparser

centos7 postgresql13 安装 zhparser，配置中文全文检索

CN_Eden

09-28

3823

目录安装postgresql10数据库全文检索从表中查询字段安装中文检索组件问题总结需求：使用postgresql13版本测试中文全文检索功能安装postgresql10数据库我这里是使用的docker容器安装测试的 1、创建一个centos7镜像容器 docker run -di --name postgres13 --privileged=true -p 5432:5432 centos:7 /usr/sbin/init docker exec -it postgres13 bash 2、安装

postgresql全文检索之zhparser编译及使用

weixin_54233011的博客

12-26

1933

概述：Zhparser是一个PostgreSQL扩展，用于中文全文搜索。它实现了一个基于简单中文分词（SCWS）的中文解析器。SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开，所以如何准确并快速分词一直是中文分词的攻关难点。一、下载zhparser分词词典文件scws。

PostgreSQL 中文分词zhparser插件在Windows上的部署应用

yiqiu_0130的专栏

09-12

1073

把zhparser-master\zhparser.control 、zhparser-master\zhparser --1.0.sql 、zhparser-master\zhparser --unpackaged --1.0.sql 这三个文件拷贝到 PostgreSQL9.5\lib\share\extension目录下。posegresql 查询窗口中安装插件。重启postgresql。

Postgresql中文分词zhparser扩展在windows环境的安装与配置

从提供的文件信息来看，这里涉及的是在Windows环境，特别是使用Visual Studio 2008的开发工具，对Postgresql数据库进行中文分词扩展zhparser的安装与配置过程。这个过程主要围绕着几个关键步骤：编译scws，编译...

zhparser扩展：优化PostgreSQL中文全文搜索体验

资源摘要信息:"zhparser 是一个专为 PostgreSQL 数据库设计的扩展，它的主要功能是支持中文全文搜索。该扩展利用了中文分词技术来优化和增强 PostgreSQL 在处理中文数据时的全文检索能力。通过集成高效的中文分词...

Postgresql中文分词zhparser学习（一）

saiami的专栏

08-31

4038

1.准备工作 Postgresql安装中文分词库此次使用SCWS以及zhparser,所以需要先准备好这两个安装包。 1.1 下载SCWS 下载地址： http://www.xunserch.com/scws/down/scws-1.2.2.tar.bz2 1.2 下载zhparser 下载地址：https://github.com/amutu/zhpars

centos7 postgresql10 安装 zhparser，配置中文全文检索

CN_Eden

09-28

680

目录安装postgresql13数据库全文检索从表中查询字段需求：使用postgresql13版本测试中文全文检索功能安装postgresql13数据库我这里是使用的docker容器安装测试的 1、创建一个centos7镜像容器 docker run -di --name postgres13 --privileged=true -p 5432:5432 centos:7 /usr/sbin/init docker exec -it postgres13 bash 2、编辑数据库yum安装源 vi

PostgreSQL 中文全文检索（使用zhparser）

dakerKing

04-30

6886

前言： PostgreSQL默认分词是按照空格及各种标点符号来分词，对于无中文类的文章是可以满足的，但是对于国内更多的是需要中文分词，不能使用默认的分词方式。检索了网上很多文章，发现使用最多的是zhparser，并且是开源的(很舒服)。并且按照之后完成能够满足检索需求。前置： centOS7 PostgreSQL11 (这里有个坑，因为环境在安装扩展时会出现编译问题，这个后面细说。如果你使用的是...

PostgresSQL psql中文全文检索 Zhparser 安装及使用 2021

刘泽美的博客

08-18

1513

本文写于 2021/8/18日系统: ubuntu0.20.04.1 psql版本: psql (PostgreSQL) 12.8 (Ubuntu 12.8-0ubuntu0.20.04.1) 1. 安装 SCWS wget -q -O - http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2 | tar xf - cd scws-1.2.3 ; ./configure ; make install 2. 下载 zhparser 源码这里有个.

postgres中使用Zhparser中文全文索引

dl425134845的专栏

01-26

2494

1、安装pg数据库 * 建议使用docker环境 * 注意不要使用太低版本的postgres数据库，比如9.5，个人反复安装都没有成功 docker pull postgres:13.5 docker run -it --name postgres -p 5432:5432 -e POSTGRES_PASSWORD=123456 -d docker.io/postgres:13.5 2、进入pg数据库docker容器内，安装各种扩展先执行 apt-get update ；否则无法连接外网；然后

pgsql 分词zhparser安装

TimeShare1的博客

02-07

959

pgsql 分词zhparser安装

安装PostgreSQL和中文分词器Zhparser

XwlyVue的博客

09-20

572

PostgreSQL是一种强大的开源关系型数据库管理系统，而Zhparser是PostgreSQL的一个中文分词器扩展，用于支持中文全文搜索和分析。通过以上步骤，你已经成功安装了PostgreSQL和中文分词器Zhparser，并学会了如何使用Zhparser进行中文全文搜索和分析。安装和配置完成后，你现在可以在PostgreSQL数据库中使用Zhparser进行中文全文搜索和分析。安装完成后，Zhparser扩展将被编译并安装到PostgreSQL的扩展目录中。步骤3: 编译和安装Zhparser扩展。

PostgreSQL zhparser & english parser, query, insert performance

postgrechina的博客

10-14

1280

本文主要测试一下PostgreSQL 中英文分词的性能，以及带索引的情况下的插入，查询性能。测试环境： CPU：Intel(R) Xeon(R) CPU X7460 @ 2.66GHzMEM：60GOS：CentOS 6.x x64PostgreSQL 9.4.1 中文分词使用 http://blog.163.com/digoal@126/blog/s

PostgreSQL 中文分词zhparser插件在Windows上的编译安装

vaingloryxing的博客

06-24

1717

最近工作上需要把pg数据库的中文分词zhparser插件安装在Windows使用，网上查询一番后，发现相关文章和解决办法很少，存在的资料多半是n年之前的了。在反复查阅参考资料以及自己不断试错后，最终还是成功解决了问题，现将经验分享如下。Windows 10 64位。

深入了解zhparser

HighGO

05-15

1307

Zhparser是一个PostgreSQL扩展，用于中文全文搜索。它实现了一个基于简单中文分词（SCWS）的中文解析器。 SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开，所以如何准确并快速分词一直是中文分词的攻关难点。