PG使用 nlpbamboo chinesecfg 中文分词

最新推荐文章于 2024-09-30 09:09:52 发布
最新推荐文章于 2024-09-30 09:09:52 发布
阅读量245 收藏
点赞数
文章标签： 数据库
环境：
CentOS 6.5 64bit
PostgreSQL 9.4.4
nlpbamboo-1.1.2
cmake-3.3.1
CRF++-0.57
2.安装cmake
[root@prod /opt]#cd cmake-3.3.1
[root@prod /opt]#./bootstrap --prefix=/opt/cmake3.3.1
[root@prod /opt]#gmake
[root@prod /opt]#gmake install
 
vi ~/.bash_profile
export PATH=/opt/cmake3.3.1/bin:$PATH
. ~/.bash_profile
3.安装CRF    
[root@prod /opt]# tar -zxvf CRF++-0.54.tar.gz 
[root@prod /opt]# cd CRF++-0.54
[root@prod /opt/CRF++-0.54]# ./configure 
[root@prod /opt/CRF++-0.54]# gmake
[root@prod /opt/CRF++-0.54]# gmake install
4.安装nlpbamboo
[root@prod /opt]# wget http://nlpbamboo.googlecode.com/files/nlpbamboo-1.1.2.tar.bz2貌似要翻墙，附件是这个文件。
[root@prod /opt]# tar -jxvf nlpbamboo-1.1.2.tar.bz2 
[root@prod /opt/nlpbamboo-1.1.2]# cd nlpbamboo-1.1.2
[root@prod /opt/nlpbamboo-1.1.2/build]# cd build/
[root@prod /opt/nlpbamboo-1.1.2/build]# cmake .. -DCMAKE_BUILD_TYPE=release
[root@prod /opt/nlpbamboo-1.1.2/build]# gmake all
[root@prod /opt/nlpbamboo-1.1.2/build]# gmake install
5.加入lib库链接

[root@prod /opt/nlpbamboo-1.1.2/build]# echo "/usr/lib" >>/etc/ld.so.conf

[root@prod /opt/nlpbamboo-1.1.2/build]# echo "/usr/local/lib" >>/etc/ld.so.conf

[root@prod /opt/nlpbamboo-1.1.2/build]# ldconfig -f /etc/ld.so.conf
测试是否正常：

[root@prod /opt/nlpbamboo-1.1.2/build]# ldconfig -p|grep bambo

        libbamboo.so.2 (libc6,x86-64) => /usr/lib/libbamboo.so.2

        libbamboo.so (libc6,x86-64) => /usr/lib/libbamboo.so

[root@prod /opt/nlpbamboo-1.1.2/build]# ldconfig -p|grep crf

        libcrfpp.so.0 (libc6,x86-64) => /usr/local/lib/libcrfpp.so.0

        libcrfpp.so (libc6,x86-64) => /usr/local/lib/libcrfpp.so

6.加入索引：
[root@prod /opt/nlpbamboo-1.1.2/build]# cd /opt/bamboo
wget http : //nlpbamboo.googlecode.com/files/index.tar.bz2
完蛋这里又下载不了了，还是别人帮忙下载的，附件有。
[root@prod /opt]# cd bamboo/
[root@prod /opt/bamboo]# tar -jxvf index.tar.bz2 
[root@prod /opt/bamboo]# cd exts/postgres/chinese_parser/
[root@prod /opt/bamboo/exts/postgres/chinese_parser]# make
[root@prod /opt/bamboo/exts/postgres/chinese_parser]# make install
7.编辑PG支持模块
[postgres@prod /opt/pgsql/share/contrib]$ cd /opt/bamboo/exts/postgres/chinese_parser
[postgres@prod /opt/pgsql/share/contrib]$make
[postgres@prod /opt/pgsql/share/contrib]$make install

[root@prod /opt/bamboo/exts/postgres/chinese_parser]# touch $PGHOME/share/tsearch_data/chinese_utf8.stop

[root@prod /opt/bamboo/exts/postgres/chinese_parser]# cd /opt/bamboo/exts/postgres/pg_tokenize

[root@prod /opt/bamboo/exts/postgres/chinese_parser]# make
[root@prod /opt/bamboo/exts/postgres/chinese_parser]# make install
8.安装PG支持模块

[root@prod /opt/bamboo/exts/postgres/chinese_parser]# su postgres

[postgres@prod /opt/bamboo/exts/postgres/chinese_parser]$ cd /opt/pgsql/share/contrib/

[postgres@prod /opt/pgsql/share/contrib]$ psql -h 127.0.0.1 postgres postgres -f chinese_parser.sql

[postgres@prod /opt/pgsql/share/contrib]$ psql -h 127.0.0.1 postgres postgres -f pg_tokenize.sql
中间可能会遇到这种错误：

postgres=# select * from tokenize('你好我是中国人');

ERROR:  invalid byte sequence for encoding "UTF8": 0xc4 0xe3

ERROR:  invalid byte sequence for encoding "UTF8": 0xc4 0xe3

原因是没有正确设置客户端字符集。
解决方法：
方法一：设置postgresql的客户端编码为GBK，这时PostgreSQL就知道输入的内容是GBK编码的，这样PostgreSQL数据库会自动做字符集的转换，把其转换成UTF8编码。psql中输入“\encoding GBK”
方法二：直接设置终端的字符集编码为UTF8，让输入的编码直接为UTF8，而不是GBK。[postgres@dsc ~]$ export PGCLIENTENCODING=GBK

9.查看全文检索配置中加入了chinesecfg的配置

postgres=# select * from tpg_ts_config;

  cfgname   | cfgnamespace | cfgowner | cfgparser 

------------+--------------+----------+-----------

 simple     |           11 |       10 |      3722

 danish     |           11 |       10 |      3722

 dutch      |           11 |       10 |      3722

 english    |           11 |       10 |      3722

 finnish    |           11 |       10 |      3722

 french     |           11 |       10 |      3722

 german     |           11 |       10 |      3722

 hungarian  |           11 |       10 |      3722

 italian    |           11 |       10 |      3722

 norwegian  |           11 |       10 |      3722

 portuguese |           11 |       10 |      3722

 romanian   |           11 |       10 |      3722

 russian    |           11 |       10 |      3722

 spanish    |           11 |       10 |      3722

 swedish    |           11 |       10 |      3722

 turkish    |           11 |       10 |      3722

 chinesecfg |           11 |       10 |     16453

(17 rows)

测试：
postgres=# select * from to_tsvector('chinesecfg','你好,我是中国人. 前在杭州斯凯做数据库相关的ぷ');                                                                to_tsvector                                                             ------------------------------------------------------------------------------------------------------- ',':2 '.':7,17 '中国':5 '人':6 '你好':1 '做':12 '在':9 '工作':16 '我':3 '数据库':13 '斯凯':11 '是':4 '杭州':10 '的':15 '目前':8 '相关':14 (1 row)

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/25954236/viewspace-1809299/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/25954236/viewspace-1809299/

cuh6259
关注
nlpbamboo-1.1.2.tar.bz2
01-14
bamboo是一个中文语言处理系统。目前包括中文分词和词性标注部分。 bamboo提供了C,PHP,PostgreSQL的编程接口。
PostgreSQL的中文全文检索
wonderful的专栏
07-31 2254
http://my.oschina.net/Kenyon/blog/82305 上一篇介绍了postgresql全文检索的环境和一些示例，http://my.oschina.net/Kenyon/blog/80904，都是基于其自带的模式，目前版本默认并不支持中文的全文检索，但是我们的实际使用过程中肯定会有用到中文的检索，好在有强大的社区支持，结合第三方工具可以简单实现PG的中文全文检索。
nlpbamboo中文语言处理
yangyu19910407的专栏
08-08 1321
Bamboo项目介绍 Bamboo项目是一个基于机器学习技术的中文自然语言处理平台。 Bamboo项目的主要目标： 中文分词 词性标注 命名实体识别 主题词抽取 Bamboo安装部署 方法一: 安装打过包的最新稳定版 下载源代码 http://nlpbamboo.googlecode.com/files/nlpbamboo-1.1.2.tar.bz2 安装C
PostgreSQL的中文全文检索(二)
weixin_34221773的博客
10-10 98
为什么80%的码农都做不了架构师？>>> ...
Bamboo 1.0.0 Release (Bamboo中文分词系统1.0.0 发布)
10-27 464
Bamboo中文分词系统1.0.0 发布, 我感觉应该没啥大问题了，进入了可用的阶段了。欢迎大家测试。 Changelog bamboo现在有能力进行词性标注了。 Bamboo现在有能力进行命名实体的识别了，其中包括人名，地名和机构名。 Bamboo现在有能力识别各种英文标识符了，例如: UA-1234-5678, F-15,等等 CRF2有专有的训练脚本了，您再也不用劳神去研究如果Build一个
zhparser 处理中文全文检索之一
一名数据库爱好者的专栏
07-27 603
os: centos 7.4 db: postgresql 10.11 版本 # cat /etc/centos-release CentOS Linux release 7.4.1708 (Core) # # # su - postgres Last login: Wed Jan 15 18:34:12 CST 2020 on pts/0 $ $ $ psql -c "select version();"
中文分词的一些研究记录
架构和代码
11-12 7382
这两天想了解一下中文分词的一些技术，因此就研究了一把，也就是了解了一些皮毛，记录下来，首先申明我是外行，请勿用专业标准来要去我。 中文分词，主要是三个流派，一是词典派，一是统计派，一是规则派。比如“我爱北京天安门”，词典派就是去查词典，词典中中有“我”，“爱”，“北京”和“天安门”，就分出来了，简单吧。词典派的算法一般是最大匹配算法，比如“北京华烟云”，正向最大匹配就是“北京 华...
postgresql全文检索部署实施
weixin_30681615的博客
12-13 307
概述 zhparser是一个支持中文全文检索的 extension，基于Simple Chinese Word Segmentation(SCWS) 上开发的 SCWS安装 下载文件：http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2 解压安装： tar xvf scws-1.2.2.tar.bz2 cd scws-1.2.2....
PostgreSQL的全文检索中文分词(1)-NlpBamboo
weixin_34161029的博客
09-10 141
postgres 8.3提供了2个数据类型tsvector,tsquery来支持全文检索，所以只需要一个中文分词组件就可以提供中文全文检索。google..很快发现了NlpBamboo项目，使用起来很方便。 安装和配置NlpBamboo 1.安装编译工具cmake apt-get install cmake 2.安装Bamboo依赖库crf++，下载crf++代码后　　 cd...
自然语言处理中的上下文无关文法（CFG）
白马负金羁
12-26 7320
最常被用来对英语（或其他自然语言）之成分结构进行建模的数学系统就是上下文无关文法（CFG）。一个CFG由一系列rules（或productions）组成，每个rule给出了 语言中的符号（symbols）可以被组织或排列在一起的规则，以及符号和单词构成的字典（lexicon）
借助 NlpBamboo 中文分词打造 PostgreSQL 的全文检索
06-09 101
借助 NlpBamboo 中文分词打造 PostgreSQL 的全文检索 借助 NlpBamboo 中文分词打造 PostgreSQL 的全文检索 « The Magic DIrk借助 NlpBamboo 中文分词打造 PostgreSQL 的全文检索FreeBSD...
Bamboo的一些基本概念
从菜鸟到菜菜鸟
03-05 4654
Bamboo有一些基本概念，主要是Plan，Stage，Job这三个。他们三者的关系图如下： Task是进行自动化构建的基本块，这些任务可以检查源代码，运行脚本，构建引擎的调用，如ant，maven以及生成报表等。 task是顺序执行的。 由多个task可以组成一个job，job则是在build的代理机器上运行的任务的集合。阶段则是更大一级的概念，用来控制工作流的执行，例如可以讲构建分
自然语言处理NLP工具包
sure-fire的专栏
06-30 2440
1. Java自然语言处理 LingPipe LingPipe是一个自然语言处理的Java开源工具包。LingPipe目前已有很丰富的功能，包括主题分类（Top Classification）、命名实体识别（Named EntityRecognition）、词性标注（Part-of Speech Tagging）、句题检测（Sentence Detection）、查询拼写检查（Query
中文分词软件概览
nciaebupt
10-26 3324
中文分词库IKAnalyzer IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为... 中文分词库Paoding 庖丁中文分词库是一个使
postgresql 分词_PostgreSQL的全文检索中文分词(1)-NlpBamboo
weixin_39883065的博客
12-24 402
postgres 8.3提供了2个数据类型tsvector,tsquery来支持全文检索，所以只需要一个中文分词组件就可以提供中文全文检索。google..很快发现了NlpBamboo项目，使用起来很方便。安装和配置NlpBamboo1.安装编译工具cmakeapt-get install cmake2.安装Bamboo依赖库crf++，下载crf++代码后cd CRF++./configurem...
MySQL之复合查询与内外连接
最新发布
zdlynj的博客
09-30 1196
前面我们讲解的mysql表的查询都是对一张表进行查询，即数据的查询都是在某一时刻对一个表进行操作的。而在实际开发中，我们往往还需要对多个表同时进行查询。我们这里使用的测试表，为雇员信息表(来自Oracle 9i的经典测试表)：EMP员工表，DEPT部门表，SALGRADE工资等级表。
点评项目-2-完善注册登录业务
m0_75138009的博客
09-29 559
需要处理的业务：在网页发送 /user/code 路径下的 post 请求后，我们需要检验手机号后，向合法的手机号发送一个随机生成的电话号。
Spring的热部署工具和数据库密码加盐操作
2301_77053417的博客
09-28 758
加密过程：用户输入的密码+盐值 --> 字符串1，然后使用md5对字符串1加密得到字符串2，然后字符串2+盐值 --> 字符串3，这个字符串3就是存储在数据库中的密文。背景：如果我们的密码明文存储在数据库中，要是被窃取了是非常的危险的，所以我们在数据库中存储的密码不能是明文的，需要进行加密后存储，也就是数据库中存储的是密文。解密过程：取出数据库中的盐值和用户输入的密码得到字符串1，使用md5对字符串1加密得到字符串2，然后验证字符串2和数据库中的密文即可。做好以上的步骤，你项目中的热部署就已经做好了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值