php 分词 利弊,关于PHP分词

使用scws组件分词和phpanalysis分词类实现简单的php分词搜索

关键字：php  分词  搜索

什么是scws：

SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即：简易中文分词系统)。

这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。

SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块， 可在 PHP 中快速而方便地使用分词功能。

分词算法上并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专有名称，人名，地名， 数字年代等规则识别来达到基本分词，经小范围测试准确率在 90% ~ 95% 之间， 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。

下载地址(需要下载SCWS规则集文件、xdb词典文件和对应版本的php_scws.dll扩展库)

安装php扩展

将php_scws.dll的扩展库放入php目录下的ext目录中

然后再php.ini中添加以下配置，添加完成后重启

[scws]

extension = php_scws.dll

scws.default.charset = gbk

scws.default.fpath = "C:\Program Files\scws\etc"

注：extension的路径要确保能加载ext目录下的.dll扩展。

scws.default.fpath的目录是分词规则文件的绝对目录

新建一个目录(C:\Program Files\scws)，将xdb文件放入。如图：

将规则集文件(规则集文件在scws的全部源代码的压缩包中可以找到)放到etc目录下，如图：

注：规则集和字典包的作用再官网里面很详细

下面就来实际操作一下：

header("Content-Type:text/html;charset=utf-8");

$sc = scws_new();   //实例分词类

$sc->set_charset('utf-8');      //设置分词时所用的编码

$sc->set_dict('C:\Program Files\scws\dict.utf8.xdb');   //设置分词所用的字典包

$sc->set_rule('C:\Program Files\scws\etc\rules.utf8.ini');    //设置分词所用的规则

$sc->set_ignore(true);    //去掉标点符号后在分词

$sc->set_multi(true);           //复式分割

$sc->send_text('山东,厨具。');    //分词的语句

while($tmp[] = $sc->get_result()){         //获取分词结果

}

//连接数据库

mysql_connect('localhost','root','root');

mysql_select_db('tdmalls');

mysql_query('set names utf8');

//组合sql

$sql = "select article_title from th_article where ";

$len2 = count($tmp[0]);

for($j=0;$j

if($j == $len2-1){

$sql .= " article_title like '%".$tmp[0][$j]['word']."%'";

}else{

$sql .= " article_title like '%".$tmp[0][$j]['word']."%' and ";

}

}

$res2 = mysql_query($sql);

while($row[] = mysql_fetch_assoc($res2)){}

以上代码的分词的结果：

以上代码组合的sql(sql的组合根据自己的情况来)：

以上代码搜索出来的结果：

这里关于scws的方法介绍的并不多，有需要的可以网上查找更多的使用方法

什么是phpanalysis无组件分词系统

下载地址的链接包含了这个系统的详细介绍，这个系统就是一个php的类，使用起来比较方便直接引入类文件就可以使用，但速度比scws这类组件形式的分词慢

下载地址：

使用方法比较简单，将下载的文件解压放入指定目录

然后再demo中引入这个类文件就可以使用了：

header("Content-type:text/html;charset=utf-8");

require_once './phpanalysis/phpanalysis.class.php';          //引入分词类文件

$fc = new PhpAnalysis();      //实例分词类(#注：这个步骤很耗时)

$str = '打造厨具';

$fc->SetSource($str);           //设置待分词的字符

//设置生成的分词结果数据类型,2为词典词汇及单个中日韩简繁字符及英文

$fc->resultType = 2;

$fc->StartAnalysis();      //开始分词

$arr = $fc->GetFinallyIndex();     //获取分词数组，键是词

$arr = implode(' ',array_keys($arr));

$arr = explode(' ',$arr);

//连接数据库

$m_db = mysql_connect('localhost','root','root');

mysql_select_db('tdmalls');

mysql_query('set names utf8');

//sql

$len = count(array_filter($arr));

$sql = "select article_title from th_article where ";

for($i=0;$i

if($i == $len-1){

$sql .= " article_title like '%".$arr[$i]."%'";

}else{

$sql .= " article_title like '%".$arr[$i]."%' and ";

}

}

$res = mysql_query($sql);

while($row[] = mysql_fetch_assoc($res)){}

以上代码分出来的词的结果：

注：这个地方键才是分出来的词

最终搜索出来的结果：

虽然用起来方便也做了很多优化但速度还是不理想，实例化该类的时候很耗时。

该类的方法注释还算详细就不再介绍了。