PHP分词

最新推荐文章于 2024-04-14 09:34:05 发布
最新推荐文章于 2024-04-14 09:34:05 发布
阅读量949 收藏
点赞数
文章标签： php server input sqlite object file
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ky_uidioperserk/article/details/5977559
版权
这是一个关于PHP中文分词的示例代码，使用SCWS库进行分词操作。文章提供了CLI和Web两种环境的参数设置，并展示了如何读取不同格式的词典文件，以及如何开启人名识别和清除标点符号等功能。
摘要由CSDN通过智能技术生成

PHP分词

转载请标明出处： http://blog.csdn.net/mozillafirefox/ 本文来自 CSDN 博客。x

<?php

/* ----------------------------------------------------------------------- */

   PHP- 简易中文分词 SCWS ver 3.1/2.1 实例演示 )

  

双向根据词频取较高之分法    * 基于词频词典逐点搜索最长词 .

   -----------------------------------------------------------------------

   作者 : 马明练 ( hightman MSN: MingL_Mar@msn.com php-QQ 群 : 17708754

   网站 : http://php.twomice.net

   时间 : 2006/03/05

希望有好的建议及用途希望能进一步交流    目的 : 学习研究交流用 ..

   -----------------------------------------------------------------------

   运行环境 : PHP 4.x.* x>0 编译需要 --enable-dba --with-[cdb|gdbm]

/* ----------------------------------------------------------------------- */

/**

 * 检查源码的参数 <*.php?source>

 */

if isset $_SERVER['QUERY_SPING']

'source'     && !strcasecmp $_SERVER['QUERY_SPING'].

{

    highlight_fil __FILE__ ;

    exit 0 ;

}

/**

 * 实例进行

 */

// 尝试计算实列运算时间

function get_microtim

{

$sec = explod ' ',    list $usec. microtim ;

    return float $usec + float $sec ;

}

$time_start = get_microtim ;

// 分词结果之回调函数 param: 分好的词组成的数组 )

function words_cb $ar

{

$ar     echo implod ' '.;

    flush ;

}

// 实例化前的参数指定与读取

$dict = 'dict/dict.cdb';

$mydata  = NULL;    // 待切数据

$version = 3;        // 采用版本

$autodi = false;    // 否识别名字

$ignore  = false;    // 否忽略标点

$debug   = false;    // 否为除错模式

$is_cli  = php_sapi_nam == 'cli' ;    // 否为 cli 运行环境

// 根据不同版本的环境读取参数设置

if $is_cli

{

    $argc = $_SERVER['argc'];

    for $i = 1; $i < $argc; $i++

    {

        $optarg = $_SERVER['argv'][$i];

"--",        if !strncmp $optarg. 2

        {

2             $cmp = substr $optarg.;

"help"             if !strcasecmp $cmp.

            {

                $mydata = NULL;

                break;

            }

"autodis"             els if !strcasecmp $cmp.

                $autodi = true;

"ignore"             els if !strcasecmp $cmp.

                $ignor = true;

"v2"             els if !strcasecmp $cmp.

                $version = 2;

"debug"             els if !strcasecmp $cmp.

                $debug = true;

"dict"             els if !strcasecmp $cmp.

            {

                $i++;

                $dict = $_SERVER['argv'][$i];

            }

        }

        els if is_nul $mydata

            $mydata = trim $optarg ;

        if !is_nul $mydata && is_fil $mydata

            $mydata = @file_get_cont $mydata ;

    }

}

else

{

    // 局部参数选项

    $checked_ignor = $checked_autodi = $checked_v2 = '';

   

    // 否指定有第 2 版

    if isset $_REQUEST['version'] && $_REQUEST['version'] == 2

    {

        $version = 2;

        $checked_v2 = ' selected';

    }

    // 否指定一个词典格式

    $selected_gdbm = $selected_text = $selected_sqlit = '';

    if isset $_REQUEST['dict']

    {

        if $_REQUEST['dict'] == 'gdbm'

        {

            $dict = 'dict/dict.gdbm';

            $selected_gdbm = ' selected';

        }

        els if $_REQUEST['dict'] == 'text'

        {

            $dict = 'dict/cwords.txt';

            $selected_text = ' selected';

        }

        els if $_REQUEST['dict'] == 'sqlite'

        {

            $dict = 'dict/dict.sqlite';

            $selected_sqlit = ' selected';

        }

        else

        {

            $_REQUEST['dict'] = 'cdb';

        }

    }

    // 否开启人名识别 缺省关闭 )

'yes'     if isset $_REQUEST['autodis'] && !strcmp $_REQUEST['autodis'].

    {

        $autodi = true;

        $checked_autodi = ' checked';

    }

    // 否清除标点符号

'yes'     if isset $_REQUEST['ignore'] && !strcmp $_REQUEST['ignore'].

    {

        $ignor = true;

        $checked_ignor = ' checked';

    }

    // 否开启 debug

'yes'     if isset $_REQUEST['debug'] && !strcmp $_REQUEST['debug'].

    {

        $debug = true;

        $checked_debug = ' checked';

    }

    // 切分数据

    if !isset $_REQUEST['mydata'] || empti $_REQUEST['mydata']

    {

        $mydata = @file_get_cont 'sample.txt' ;

    }

    else

    {

        $mydata = & $_REQUEST['mydata'];

        if get_magic_quotes_gpc

            $mydata = stripslash $mydata ;

    }

}

// 清除最后的 /r/n/t

if !is_nul $mydata

    $mydata = trim $mydata ;

// 实例化分词对像 ( mydata 非空 )

$object = 'my_SimpledCWS' . $version;

requir $object . '.class.php' ;

   

$cw = new $object $dict ;

$cws->set_ignore_mark $ignor ;

$cws->set_autodi $autodi ;

$cws->set_debug $debug ;

?>

<?php if !$is_cli { ?>

<html>

<head>

<title>PHP 简易中文分词 ( SCWS 第 <?php echo $version; ?> 版在线演示 by hightman </title>

<meta http-equiv="Content-type" content="text/html; charset=gbk">

<styl type="text/css">

<!--

body    { background-color: #efefef; font-family: tahoma; font-size: 14px; td.}

.demotx        { font-size: 12px; width: 100%; height: 140px; }

small        { font-size: 12px; }

//-->

</style>

</head>

<body>

<h3>

  <font color=red>PHP 简易中文分词 ( SCWS </font>

  <font color=blue> 第 <?php echo $version; ?> 版 </font> - 线演示 by hightman

</h3> 

基本功能 : 根据词频词典进行机械分词、中外人名智能识别 词典格式 : gdbm/cdb 等 )

<hr />

<tabl width=100% border=0>

  <tr>

    <form method=post>

    <td width=100%>

      <strong> 请输入文字点击提交尝试分词 : </strong> <br />

      <textarea name=mydata cols=60 rows=8 class=demotx><?php echo $mydata; ?></textarea>

      <small>

        <input type=checkbox name=autodi value="yes"<?php echo $checked_autodis;?>> 智能识别人名

        &nbsp;

        <input type=checkbox name=ignor value="yes"<?php echo $checked_ignore;?>> 清除标点符号

        &nbsp;

        <input type=checkbox name=debug value="yes"<?php echo $checked_debug;?>> debug v2

        &nbsp;

        <br />

        词典格式 :

        <select name=dict size=1>       

        <option value=cdb>CDB</option>

        <option value=gdbm<?php echo $selected_gdbm; ?>>GDBM</option>

        <option value=text<?php echo $selected_text; ?>>Text</option>

        <option value=sqlite<?php echo $selected_sqlite; ?>>SQLite2.x</option>

        </select>

        &nbsp;

        尝试采用第

        <select name=vers size=1 style="color: red; font-weight: bold;">

          <option value=3>3</option>

          <option value=2<?php echo $checked_v2;?>>2</option>

        </select>

        版分词算法

        &nbsp;&nbsp;

      </small>

      <input type=submit>

      </td>

      </form>

    </tr>

    <tr>

      <td><hr /></td>

    </tr>

    <tr>

      <td width=100%>

        <strong> 分词结果 ( 原文总长度 <?php echo strlen $mydata ; ?> 字符 ) </strong>

        <br />

        <textarea cols=60 rows=8 class=demotx readonly>

<?php } els { ?>

_____________________________________________________________________

PHP 简易中文分词程序 ( SCWS - 第 <?php echo $version; ?> 版 - by hightman

_____________________________________________________________________

双向根据词频取较高之分法 1. 基于词频词典逐点搜索最长词 .

2. 用法 : <?php echo $_SERVER['argv'][0]; ?> [ 选项 ] <string|file>

3. 选项 : --autodis    打开人名识别

        --ignore     清除结果中的标点符号

        --v2         使用第 2 版分词算法 ( 缺省第 3 版 )

后缀 ( .cdb|.gdbm|.txt|.sqlite         --dict <file> 直接指定词典文件 .

        --help       显示本页帮助文件

词之间以空格分隔 4. 结果 : 直接输出分词结果 .

_____________________________________________________________________

<?php } ?>

<?php

分词结果数组执行 words_cb // 执行切分 .

'words_cb' $cws->segment $mydata.;

// 切分时间统计

$time_end = get_microtim ;

$time = $time_end - $time_start;

// 以下显示结果

?>

<?php if !$is_cli { ?>

      </textarea>       

      <small>

        分词耗时 : <?php echo $time; ?> 秒 .

        词典查询次数 : <?php echo $cws->_dict->query_times; ?> 次

      </small>

    </td>

  </tr>

</table>

<hr />

<small>

供研究学习交流   注 : 本顺序代码及相关词典免费开放下载 ..

  参见网页 <a href=http://php.twomice.net target=_blank>http://php.twomice.net</a>

  或直接 <a href="?source" target="_blank"> 检查源码 </a>

</small>

</body>

</html>

<?php } els if !empti $mydata { ?>

_____________________________________________________________________

耗时 : <?php echo $time; ?> 秒 , 总长 : <?php echo strlen $mydata ; ?> 字符 . 查词次数 : <?php echo $cws->_dict->query_times; ?> 次

<?php } ?>

ky_uidioperserk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PHP简易中文分词
08-04
PHP简易中文分词，免组件分词 $ca = new cls_analysis(); //把一段短文本进行拆分 $str = "把一段短文本进行拆分"; $ca->SetSource( $str, 'utf-8', 'utf-8'); $ca->StartAnalysis(); $okstr = $ca->GetFinallyResult(' '); //指定分隔用的字符，默认是空格 //从一段长文本里提取出现次数最高的关键字 $str = "输入一段稍为长一点的文本"; $ca->SetSource( $str, 'utf-8', 'utf-8'); $ca->Start
php中文分词的实现方案
Programming Talk
02-13 2471
实现中文分词有以下几种常见的方法：正则表达式分词：使用正则表达式匹配文本，将其分为不同的词汇。字典分词：使用已知的字典，在文本中匹配词汇，并将其分开。N-gram分词：使用N-gram模型将文本分为词汇。基于算法的分词：使用分词算法，例如HMM、CRF等，将文本分为词汇。开源中文分词工具：使用开源的中文分词工具，例如jieba、ansj等。
PHP 实现自动分词
enji2010的博客
06-08 1001
PHP 实现自动分词
php简易中文分词,用PHP简易实现中文分词
weixin_39969143的博客
04-10 497
//词典类class ch_dictionary {var $_id;function ch_dictionary($fname = "") {if ($fname != "") {$this->load($fname);}}// 根据文件名载入字典 (gdbm数据档案)function load($fname) {$this->_id = dba_popen($fname, "r",...
php中文分词 使用方法,php 中文分词PSCWS4使用说明
weixin_39652658的博客
03-10 218
分词的这个技术，挺重要的，在有些方面起着非常重要的作用，这里摘自一博友的文章PSCWS4 类对应的文件为 pscws4.class.php。在 PHP 代码中的调用方法如下：//加入头文件require './pscws4/pscws4.class.php'; //建立分词类对像, 参数为字符集, 默认为 gbk, //可在后面调用 set_charset 改变$pscws = new PSCWS...
PHP中文分词
10-30
PHP作为一种广泛应用的服务器端脚本语言，虽然其在处理中文分词方面并不如Python或Java等语言那么直接，但依然有多种方法可以实现中文分词功能。本篇文章将深入探讨PHP中文分词的原理、方法以及相关的技术细节。 ...
纯PHP分词类库
09-07
**纯PHP分词类库详解** 在信息技术领域，分词是文本处理的重要环节，它将连续的文本字符串拆分成有意义的词语单元，为后续的文本分析、信息检索、情感分析等任务提供基础。PHP作为广泛使用的服务器端脚本语言，虽然...
php分词源码
04-16
【PHP分词源码】是一种基于PHP编程语言的文本处理技术，主要用于将连续的汉字文本分割成具有独立意义的词语，这一过程被称为分词。在自然语言处理（NLP）领域，分词是预处理阶段的关键步骤，为后续的关键词提取、...
php分词 thinkphp分词源码
04-16
本文将详细探讨PHP分词和ThinkPHP中的分词应用。 首先，我们要理解什么是分词。分词是将连续的文本序列分解成具有独立意义的词汇单元的过程，这是自然语言处理的第一步。在中文中，由于没有明显的空格或标点符号来...
php实现的中文分词类完整实例
10-20
主要介绍了php实现的中文分词类,结合完整实例形式分析了php基于字符串的遍历、转换、运算等技巧实现中文分词功能的具体方法,需要的朋友可以参考下
think-pullword:ThinkPHP 分词抽词 扩展包
05-30
think-pullword ThinkPHP 分词/抽词 扩展包 5.1 6.0 使用梁厂的产品 安装 composer require xiaodi/think-pullword 使用 常规实例化 use PullWord\PullWord; class Index { public function index() { $source = '352净水器K10家用直饮大通量1000G 厨下RO反渗透纯水机'; $pullWord = new PullWord($source); $result = $pullWord->pull()->toJson()->get(); // $result = $pullWord->service('pull', $source)->get(); // 结
php分词类,实现的完整中文分词的php类
weixin_35762258的博客
03-13 293
实现的完整中文分词的php类classSegmentation{var$options=array('lowercase'=>TRUE,'segment_english'=>FALSE);var$dict_name='Unknown';var$dict_words=array();functionsetLowercase($value){if($va...
PHP如何进行分词？具体步骤是怎样的？
最新发布
长风破浪会有时的博客
04-14 357
总的来说，PHP中的分词通常可以概括为初始化、加载字典、分词处理、停用词过滤和输出结果这几个步骤。：停用词是指在文本中经常出现但对文本意义不产生影响的词语，如“的”、“是”等。具体来说，分词器会对输入的文本进行词汇切分、词性标注等处理，将文本分割成一系列的词语（term）。：将分词所需的词典文件加载到内存中，生成分词的核心数据结构，如 trie 树、逆向最大匹配算法等。：将分词后的结果输出，可以用于文本分析、搜索引擎等领域的应用。：读取分词所需的词典文件和停用词文件，初始化分词器。
[转]什么是中文分词
heiyeluren的blog（黑夜路人的开源世界）
06-11 2790
什么是中文分词？ 　　众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，
php自定义中文分词方法,PHPAnalysis中文分词类详解
weixin_26767391的博客
03-10 532
PHPAnalysis是目前广泛使用的中文分词类，使用反向匹配模式分词，因此兼容编码更广泛，现将其变量与常用函数详解如下：一、比较重要的成员变量$resultType = 1 生成的分词结果数据类型(1 为全部， 2为 词典词汇及单个中日韩简繁字符及英文， 3 为词典词汇及英文)这个变量一般用 SetResultType( $rstype ) 这方法进行设置。$notSplitL...
php 分词技术,php实现的中文分词类完整实例
weixin_31470259的博客
03-09 884
本文实例讲述了php实现的中文分词类。分享给大家供大家参考，具体如下：class Segmentation {var $options = array('lowercase' => TRUE,'segment_english' => FALSE);var $dict_name = 'Unknown';var $dict_words = array();function setLower...
php分词类,PHPAnalysis中文分词类详解_PHP
weixin_32842959的博客
03-13 768
PHPAnalysis是目前广泛使用的中文分词类，使用反向匹配模式分词，因此兼容编码更广泛，现将其变量与常用函数详解如下：一、比较重要的成员变量$resultType = 1 生成的分词结果数据类型(1 为全部， 2为 词典词汇及单个中日韩简繁字符及英文， 3 为词典词汇及英文)这个变量一般用 SetResultType( $rstype ) 这方法进行设置。$notSplitL...
php中文分词nlp,几种常见的PHP中文分词系统
weixin_30755903的博客
03-10 1034
因为要做毕业设计，可能需要相关知识，所以在此总结一下常见的中文分词系统。1)HTTPCWS – 基于HTTP协议的开源中文分词系统张宴的作品，基于ICTCLAS 3.0 共享版，分词精度98.45%。可以采用HTTP方式调用借口。2)SCWS – 简易中文分词系统SCWS 在概念上并无创新成分，采用的是自行采集的词频词典，并辅以一定程度上的专有名称、人名、地名、数字年代等规则集，经小范围测试大概准...
elasticsearch php 分词
05-31
要在 Elasticsearch 中进行分词，可以使用 Elasticsearch 提供的分词器。在 PHP 中，可以使用 Elasticsearch 官方提供的 Elasticsearch PHP 客户端来调用分词器。 以下是一个使用 Elasticsearch PHP 客户端调用分词器的示例代码： ```php require 'vendor/autoload.php'; use Elasticsearch\ClientBuilder; $client = ClientBuilder::create()->build(); $params = [ 'index' => 'my_index', 'analyzer' => 'standard', 'text' => 'This is a sample text' ]; $response = $client->indices()->analyze($params); print_r($response); ``` 在上面的代码中，我们使用 `indices()->analyze()` 方法来调用 Elasticsearch 的分析器。我们指定了需要分析的索引和分词器，以及需要分析的文本。在这个示例中，我们使用了标准分词器。 执行上面的代码后，Elasticsearch 会返回一个包含分析结果的响应。你可以根据需要进行处理和使用分析结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值