scws sphinx mysql_centos 6.5 安装sphinx 及sphinx 扩展 scws 中文分词 及scws扩展

最新推荐文章于 2021-03-26 01:09:11 发布
最新推荐文章于 2021-03-26 01:09:11 发布
阅读量98 收藏
点赞数
文章标签： scws sphinx mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32483357/article/details/113998923
版权

一、安装前提必备先安装工具

yum -y install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel

二、安装sphinx

1、下载sphinx

cd /usr/local/src (默认下载文件存放位置)

2、解压安装包

tar zxvf sphinx-2.2.10-release.tar.gz

3、检查当前系统是否满足安装sphinx 和指定安装目录

cd sphinx-2.2.10-release

./configure --prefix=/usr/local/sphinx

5、备份配置文件

cd /usr/local/sphinx/etc

cp sphinx.conf.dist sphinx.conf

2)、修改sphinx配置文件

vim /usr/local/sphinx/etc/sphinx.conf

在vim下搜索 /sql_host (告诉sphinx mysql链接信息)

sql_host = localhost //服务器名

sql_user = root //数据库账户

sql_pass = qaz5788943 //数据库密码

sql_db = test //使用sphinx 库名

sql_port = 3306 # optional, default is 3306

在vim下搜索 /sql_query_pre

打开下面配置的注释

sql_query_pre = SET NAMES utf8

在vim下搜索 /exceptions.txt 注释下面配置

# exceptions = /data/exceptions.txt

配置文件内容如下：

source audience

{

type= mysql

sql_host= localhost

sql_user= test

sql_pass= test

sql_db= test

sql_port= 3306# optional, default is 3306

sql_query_pre = SET NAMES UTF8

ql_query=

###sql_attr_uint= au_id

###sql_attr_string = audience_name

sql_attr_uint= rating

sql_field_string= audience_name

sql_field_string= audience_alias

}

index user

{

source= audience

path= /usr/local/sphinx/var/data/user_audience

docinfo = extern ##### 文档信息存储方式

mlock = 0 ###缓存数据内存锁定

morphology = none #### 形态学(对中文无效)

min_word_len = 1 #### 索引的词最小长度

charset_type = utf-8

min_prefix_len = 0 #最小前缀

min_infix_len = 1 #最小中缀

charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z,A..Z->a..z, a..z, U+0149, U+017F, U+0138, U+00DF, U+00FF, U+00C0..U+00D6->U+00E0..U+00F6,U+00E0..U+00F6, U+00D8..U+00DE->U+00F8..U+00FE, U+00F8..U+00FE, U+0100->U+0101, U+0101,U+0102->U+0103, U+0103, U+0104->U+0105, U+0105, U+0106->U+0107, U+0107, U+0108->U+0109,U+0109, U+010A->U+010B, U+010B, U+010C->U+010D, U+010D, U+010E->U+010F, U+010F,U+0110->U+0111, U+0111, U+0112->U+0113, U+0113, U+0114->U+0115, U+0115, U+0116->U+0117,U+0117, U+0118->U+0119, U+0119, U+011A->U+011B, U+011B, U+011C->U+011D, U+011D,U+011E->U+011F, U+011F, U+0130->U+0131, U+0131, U+0132->U+0133, U+0133, U+0134->U+0135,U+0135, U+0136->U+0137, U+0137, U+0139->U+013A, U+013A, U+013B->U+013C, U+013C,U+013D->U+013E, U+013E, U+013F->U+0140, U+0140, U+0141->U+0142, U+0142, U+0143->U+0144,U+0144, U+0145->U+0146, U+0146, U+0147->U+0148, U+0148, U+014A->U+014B, U+014B,U+014C->U+014D, U+014D, U+014E->U+014F, U+014F, U+0150->U+0151, U+0151, U+0152->U+0153,U+0153, U+0154->U+0155, U+0155, U+0156->U+0157, U+0157, U+0158->U+0159, U+0159,U+015A->U+015B, U+015B, U+015C->U+015D, U+015D, U+015E->U+015F, U+015F, U+0160->U+0161,U+0161, U+0162->U+0163, U+0163, U+0164->U+0165, U+0165, U+0166->U+0167, U+0167,U+0168->U+0169, U+0169, U+016A->U+016B, U+016B, U+016C->U+016D, U+016D, U+016E->U+016F,U+016F, U+0170->U+0171, U+0171, U+0172->U+0173, U+0173, U+0174->U+0175, U+0175,U+0176->U+0177, U+0177, U+0178->U+00FF, U+00FF, U+0179->U+017A, U+017A, U+017B->U+017C,U+017C, U+017D->U+017E, U+017E, U+0410..U+042F->U+0430..U+044F, U+0430..U+044F,U+05D0..U+05EA, U+0531..U+0556->U+0561..U+0586, U+0561..U+0587, U+0621..U+063A, U+01B9,U+01BF, U+0640..U+064A, U+0660..U+0669, U+066E, U+066F, U+0671..U+06D3, U+06F0..U+06FF,U+0904..U+0939, U+0958..U+095F, U+0960..U+0963, U+0966..U+096F, U+097B..U+097F,U+0985..U+09B9, U+09CE, U+09DC..U+09E3, U+09E6..U+09EF, U+0A05..U+0A39, U+0A59..U+0A5E,U+0A66..U+0A6F, U+0A85..U+0AB9, U+0AE0..U+0AE3, U+0AE6..U+0AEF, U+0B05..U+0B39,U+0B5C..U+0B61, U+0B66..U+0B6F, U+0B71, U+0B85..U+0BB9, U+0BE6..U+0BF2, U+0C05..U+0C39,U+0C66..U+0C6F, U+0C85..U+0CB9, U+0CDE..U+0CE3, U+0CE6..U+0CEF, U+0D05..U+0D39, U+0D60,U+0D61, U+0D66..U+0D6F, U+0D85..U+0DC6, U+1900..U+1938, U+1946..U+194F, U+A800..U+A805,U+A807..U+A822, U+0386->U+03B1, U+03AC->U+03B1, U+0388->U+03B5, U+03AD->U+03B5,U+0389->U+03B7, U+03AE->U+03B7, U+038A->U+03B9, U+0390->U+03B9, U+03AA->U+03B9,U+03AF->U+03B9, U+03CA->U+03B9, U+038C->U+03BF, U+03CC->U+03BF, U+038E->U+03C5,U+03AB->U+03C5, U+03B0->U+03C5, U+03CB->U+03C5, U+03CD->U+03C5, U+038F->U+03C9,U+03CE->U+03C9, U+03C2->U+03C3, U+0391..U+03A1->U+03B1..U+03C1,U+03A3..U+03A9->U+03C3..U+03C9, U+03B1..U+03C1, U+03C3..U+03C9, U+0E01..U+0E2E,U+0E30..U+0E3A, U+0E40..U+0E45, U+0E47, U+0E50..U+0E59, U+A000..U+A48F, U+4E00..U+9FBF,U+3400..U+4DBF, U+20000..U+2A6DF, U+F900..U+FAFF, U+2F800..U+2FA1F, U+2E80..U+2EFF,U+2F00..U+2FDF, U+3100..U+312F, U+31A0..U+31BF, U+3040..U+309F, U+30A0..U+30FF,U+31F0..U+31FF, U+AC00..U+D7AF, U+1100..U+11FF, U+3130..U+318F, U+A000..U+A48F,U+A490..U+A4CF

ngram_len = 1 # 对于非字母型数据的长度切割

ngram_chars = U+4E00..U+9FBF, U+3400..U+4DBF, U+20000..U+2A6DF, U+F900..U+FAFF,U+2F800..U+2FA1F, U+2E80..U+2EFF, U+2F00..U+2FDF, U+3100..U+312F, U+31A0..U+31BF,U+3040..U+309F, U+30A0..U+30FF,U+31F0..U+31FF, U+AC00..U+D7AF, U+1100..U+11FF,U+3130..U+318F, U+A000..U+A48F, U+A490..U+A4CF

html_strip = 0

}

index audiencert

{

type= rt

rt_mem_limit= 128M

path= /usr/local/sphinx/var/data/audiencert

rt_field= audience_name

rt_field= audience_desc

rt_field= audience_key

rt_field= action_name_en

rt_field= action_name_cn

rt_field= audience_alias

rt_attr_uint= au_id

}

indexer

{

mem_limit= 128M

}

searchd

{

listen= 9312

listen= 9306:mysql41

log= /usr/local/sphinx/var/log/searchd.log

query_log= /usr/local/sphinx/var/log/query.log

read_timeout= 5

max_children= 30

pid_file= /usr/local/sphinx/var/log/searchd.pid

seamless_rotate= 1

preopen_indexes= 1

unlink_old= 1

workers= threads # for RT to work

binlog_path= /usr/local/sphinx/var/data

}

7、创建测试索引文件

cd /usr/local/sphinx/bin

./indexer --all

/usr/local/sphinx/bin/indexer --all

/usr/local/sphinx/bin/indexer user_audience --rotate --all

启动 searchd

/usr/local/sphinx/bin/searchd

安装php扩展

cd /usr/local/src

2、解压

tar -zxvf sphinx-1.3.1.tgz

cd /usr/local/src/sphinx-1.3.0

/usr/bin/phpize

./configure --with-php-config=/usr/bin/php-config --with-sphinx

make && make install

提示出错：

checking for libsphinxclient headers in default path... not found

configure: error: Cannot find libsphinxclient headers

cd /usr/local/src/sphinx-2.2.10-release/api/libsphinxclient

./configure

make && make install

安装完libsphinxclient，继续安装sphinx扩展。

cd /usr/local/src/sphinx-1.3.1

/usr/bin/phpize

./configure --with-php-config=/usr/bin/php-config

make

make install

扩展目录

/usr/lib64/php/modules/sphinx.so

cd /etc/

vi php.ini

加入extension = sphinx.so

[root@ADO-02 etc]# php -m|grep sphinx

sphinx

扩展安装成功

重启 php-fpm

service php-fpm restart

安装scws PHP扩展

1. 取得 scws-1.2.3 的代码

wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

2. 解开压缩包

tar xvjf scws-1.2.3.tar.bz2

3. 进入目录执行配置脚本和编译

cd scws-1.2.3

./configure --prefix=/usr/local/scws ; make ; make install

# 编译和安装 php-scws

cd phpext

phpize

./configure --with-scws=/usr/local/scws/ --with-php-config=/usr/bin/php-config

make

make install

查看

cd /usr/lib64/php/modules/

ls -l |grep scws.so

安装成功

vi /etc/php.ini

加入 extension = scws.so

[root@ADO-02 etc]# php -m|grep scws

scws

安装成功

安装中文分词

下载

tar xvjf scws-dict-chs-utf8.tar.bz2

拷贝到

cp dict.utf8.xdb /usr/local/scws/etc

安装完成

字节前端
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scws简易中文分词系统
TCM-caleng
02-01 2077
一、简介SCWS 是 Simple Chinese Words Segmentation 的缩写，即简易中文分词系统。这是一套基于词频词典的机械中文分词引擎，它能将一整段的汉字基本正确的切分成词。词是汉语的基本语素单位，而书写的时候不像英语会在词之间用空格分开，所以如何准确而又快速的分词一直是中文分词的攻关难点。SCWS在概念上并无创新成分，采用的是自行采集的词频词典，并辅以一
mysql的sphinx插件_php+mysql+sphinx优化全文检索 | 呆萌的程序猿
weixin_39837124的博客
01-19 475
Sphinx概述一个基于SQL的全文检索引擎，它提供了比数据库更专业的搜索功能，并且sphinx特别为一些脚本语言设计了搜索的API接口，如PHP、Python等，同时为MySQL也设计了一个存储引擎插件。Sphinx应用场景网站中的搜索CMS中的搜索安装和配置Sphinx①。三种安装方式：下载二进制下载MAC OSx系统的二进制文件。解压1tar -zxvf sphinx-2.2.10-rele...
linux centos7下搭建sphinx+scwc+mysql实现百万级别商品全文搜索实战
resilient的博客
03-22 737
准备工作 服务器 装的是centos7.1 环境 lnmp1.5[mysql版本5.6.36+php5.7.22版本+nginx1.15.0] scws :simple chinese words Segmentation 简易中文分词系统 原理 安装sphinx 安装前先准备好需要的依赖包 yum -y install make gcc g++ gcc-c++ libto...
sphinx3.0.2的安装和php7扩展配置
weixin_30666401的博客
03-31 445
1.下载sphinx 没想到sphinx3解压后即可； wget http://sphinxsearch.com/files/sphinx-3.0.2-2592786-linux-amd64.tar.gzgrep -v "^#" sphinx.conf.dist | grep -v "^\s#" | grep -v "^$" >sphinx.conf安装依赖包：yum -y in...
基于Sphinx+MySQL的千万级数据全文检索（搜索引擎）架构设计
阳光梦的专栏
03-08 3697
来自：http://blog.zyan.cc/post/360/ 前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。 　　在DELL PowerEdge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyIS
scws-1.1.7.rar_SCWS-1.1.7_scws_中文分词 C++_分词_开源
09-22
中文分词是自然语言处理中的基础步骤，它将连续的汉字序列分割成具有语义的词汇单元，这对于后续的文本分析、信息检索、机器翻译等任务至关重要。 SCWS采用了一种机械分词法，也称为基于规则的分词方法。这种方法...
PHP+MySQL+sphinx+scws实现全文检索功能详解
10-16
主要介绍了PHP+MySQL+sphinx+scws实现全文检索功能,详细分析了sphinx、scws的下载安装、配置、数据库创建及全文检索功能的相关实现技巧,需要的朋友可以参考下
PHP中文分词扩展 SCWS
01-23
PHP中文分词扩展 SCWS，可以在windows７下vs2012中编译出来的，支持php5.6.x　zts版
浅谈Coreseek、Sphinx-for-chinaese、Sphinx+Scws的区别
12-18
3. Sphinx+Scws 是一种组合方案，Sphinx负责搜索，而Scws（Simple Chinese Word Segmentation）专注于中文分词。两者独立部署，具有较高的灵活性和更新速度。Scws可以单独服务于其他需要分词的系统，而Sphinx则专注...
sphinx+scws 全文检索使用之 安装配置篇
只知其一，等于一无所知
09-08 2430
写在前面：公司要做全文索引，调研了一些方案，由于coreseek的官网访问不了，准备使用sphinx+scws方案，安装的原文地址为http://blog.51yip.com/mysql/1659.html，我这里在安装过程中会有写出入，稍微有些改动！ 评测：一、Coreseek 为国人基于Sphinx开发的方案，目前最稳定版，是基于经典的Sphinx0.9.9版优点：有成熟的文档、以及社区；其分词
centos php scws,CentOS7 安装 SCWS Zhparser
weixin_35048919的博客
03-26 163
安装前请做一些准备，比如：安装ZIP的压缩和解压程序yum install -y unzip zip如果用tar解压缩失败： tar (child): lbzip2: Cannot exec: No such file or directory，则安装bzip2yum install -y bzip2如果没有gcc编译器，则安装它yum install -y gccgcc --version没有g...
CMU sphinx学习（――训练自已的中文语言模型与声学模型）
热门推荐
12-19 1万+
http://www.cnblogs.com/huanghuang/archive/2011/07/18/2109101.html 同样是在该博客的基础上针对XP系统   一、训练语言模型    (1) 安装语言模型训练工具CMUCLMTK          VS2010直接编译即可    (2) 准备训练的文档 在 .txt中输入如下内容，记住结尾不可留“\n”(实验证明了这一
Sphinx中文分词详细安装配置及API调用实战手册
yinhong2006的专栏
10-18 179
Sphinx中文分词详细安装配置及API调用实战手册 技术 2011-08-23 16:34:59 阅读：501 评论：0 　　这几天项目中需要重新做一个关于商品的全文搜索功能,于是想到了用Sphinx,因为需要中文分词。对我来说Sphinx是个全新的技术，所以花了不少时间来研究它，在网上查阅了许多资料，有些认为有参考价值的便收藏到博客中来，以便于随时再次查看。 　　Sphinx...
Sphinx中文指南
04-29 5068
1、简介 1.1.Sphinx是什么 1.2.Sphinx的特性 1.3.Sphinx中文分词 2、安装配置实例 2.1 在GNU/Linux/unix系统上安装 2.1.1 sphinx安装 2.1.2.sfc安装(见另文) 2.1.3.coreseek安装（见另文） 2.2 在windows下安装 3、
sql 问号的使用 php_Sphinx的安装和使用（仅学习）
weixin_39926104的博客
12-05 112
原文链接：Sphinx的安装和使用 - 杰少! - 博客园sphinx的使用两种方式：1、使用sphinx的API来操作sphinx，PHP中将API编译到PHP中作为扩展2、使用mysql的sphinx的存储引擎sphinx是英文的全文检索引擎，coreseek是支持中文词库的全文检索引擎，Lucene是用java实现的全文检索引擎。使用sphinx搜索引擎对数据做索引，数据一次性加载进来后保存...
聚类算法-一种无监督学习方法.docx
最新发布
08-12
聚类算法是一种无监督学习方法，用于将数据集中的数据点自动分组到不同的类别中，这些类别也称为“簇”或“群”。聚类的目标是让同一簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不相似。聚类算法广泛应用于多种领域，如数据挖掘、模式识别、图像分析、信息检索等。 聚类算法的基本概念 无监督学习：聚类算法不需要事先标记数据点的类别标签，而是根据数据本身的相似性来分组。 相似性度量：聚类算法依赖于某种相似性或距离度量来决定数据点之间的相似程度。常用的度量包括欧氏距离、曼哈顿距离等。 目标函数：大多数聚类算法都会尝试最小化某种目标函数，例如簇内的平方误差和（SSE）。 常见的聚类算法 K-Means K-Means 是一种原型聚类算法，它通过迭代地将数据点分配到最近的质心来形成簇，并重新计算每个簇的质心，直到质心不再显著变化为止。 在 Python 的 scikit-learn 库中，可以通过 KMeans 类实现 K-Means 聚类。 层次聚类 层次聚类构建一个树状图（称为树状图或 dendrogram），显示数据点是如何逐渐合并成簇的。 这种算法可以是凝聚型（自底向上）或分裂型（自顶向下）。
45ft集装箱模型3D图纸 STEP格式.zip
08-12
45ft集装箱模型3D图纸 STEP格式.zip
Spring Boot网吧管理系统.zip
08-12
该系统严格按照需求分析制作相关模块，并利用所学知识尽力完成，但是本人由于学识浅薄，无法真正做到让该程序可以投入市场使用，仅仅简单实现部分功能，希望日后还能改善。 本系统具有以下优点： 该系统具有较高的适用性，选用B/S结构，可以在绝大部分个人平台上使用该系统。 系统将用户权限进行划分，管理员，网管和会员都能看到及操作的信息不一样，三者具备不同的操作权限。 该系统操作界面简单明了，大部分人都可以正常使用。 但也存在以下问题需要改进： 运行时窗口不能被刷新，可以改进。 系统过于简单，显示的信息有限。。 不能添加多个管理员账号，如果可以则将利于发展网吧规模，便于网吧信息集中管理。 不能实时预约接待消息和网吧反馈建议，容易被忽视，不利于管理员服务客户。
微信小程序大作业 新闻小程序
08-12
微信小程序大作业 新闻小程序
SCWS中文分词系统安装与使用指南
"该文档主要介绍了如何在Linux(FreeBSD)操作系统上安装和使用SCWS（Simple Chinese Word Segmentation，简单中文分词系统）的1.2.2版本，包括PHP的扩展支持。SCWS是一个开源的中文分词库，适用于PHP环境，用于对中文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值