php拆词,SCWS 中文分词 跨站请求php分词，字符串拆词

简介

SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即：简易中文分词系统)。

这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。

SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块， 可在 PHP 中快速而方便地使用分词功能。

分词算法上并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专有名称，人名，地名， 数字年代等规则识别来达到基本分词，经小范围测试准确率在 90% ~ 95% 之间， 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。

SCWS 由 hightman 开发， 并以 BSD 许可协议开源发布，源码托管在 github。

SCWS(简易中文分词) 基于HTTP/POST的分词 API 使用说明data 需要分词的字符串(*必须*)

respond 响应结果格式(其值为: php/json/xml, 默认为 php，其中 php是指用php序列化后的结果)

charset 待分词的字符串编码(gbk/utf8，默认是utf8)

ignore 是否忽略标点符号(yes/no，默认为 no)

duality 是否散字自动二元(yes/no，默认为 no)

traditional 是否采用繁体字库(yes/no，默认为 no，仅当 charset 为 utf8 时有效)

multi 复合分词的级别(整数值 1~15：0x01-最短词；0x02-二元；0x04-重要单字；0x08-全部单字) 默认为0，如有需要建议设置为 3

响应的数据：word 词的内容

off 该词在未分词文本中的偏移位置

idf 该词的 IDF 值

attr 词性 (北大标注格式) 参见这里。如果出错则其中的 status 属性/键的值为 error，而 message 为错误信息

成功则 status 值为 ok，words 值是分好的词的列表(数组)

每个分好的词包括以下属性/键值：

该 API 自 2010/12/2 起可用, 感谢用户 keen-lee 的建议并编写了API调用的初始版，查看 API 源码

当前版本：SCWS (Module version:0.2.3, Library version:1.2.3) - by hightman