PHP分词使用之Jieba分词（结巴分词）应用

一、下载地址

      1.https://github.com/fukuball/jieba-php

二、简介

     “结巴”中文分词：做最好的PHP中文分词，中文断词组件。/“结巴”（中文为“口吃”）中文分词：建立最好的PHP中文分词模块。

      目前翻译版为jieba-0.26版本，未来再慢慢往上升级，效能也需要再改善，请有兴趣的开发者一起加入开发！若想使用Python版本请前往 https://github.com/fxsjy/jieba

      现在已经可以支援繁体中文！只要将字典切换为大模式即可！

三、特征

• 支持三种分词模式：

• 1）默认精确模式，试图将句子最精确地切开，适合文本分析;

• 2）全模式，把句子中所有的可以成词的词语都扫描出来，但是不能解决歧义。（需要充足的字典）

• 3. 搜寻引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜寻引擎分词。

• 支持繁体断词

• 支持自定义词典

四、用法

• 手动安装：将jieba-php放置适当目录后，透过require_once引用

require_once  “ /yourpath/vendor/multi-array/MultiArray.php ” ; 
require_once  “ /yourpath/vendor/multi-array/Factory/MultiArrayFactory.php ” ; 
require_once  “ /yourpath/class/Jieba.php ” ; 
require_once  “ /yourpath/class/Finalseg.php ” ;

　　

五、算法

• 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）
• 采用了动态规划查找最大概率路径，找出基于词频的最大切分组合
• 对于未入词词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
• BEMS的解释https://github.com/fxsjy/jieba/issues/7

 

六、接口

• 组件只提供jieba.cut方法用于分词
• cut方法接受两个输入参数：1）第一个参数为需要分词的字符串2）cut_all参数用来控制分词模式
• 待分词的字符串可以是utf-8字符串
• jieba.cut返回的结构是一个可迭代的数组

七、功能

    1.分词

• cut 方法接受想个输入参数：1）第一个参数为需要分词的字符串2）cut_all参数用来控制分词模式
• cutForSearch 方法接受一个参数：需要分词的字符串，该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• 注意：待分词的字符串是utf-8字符串
• cut以及cutForSearch返回的结构是一个可迭代的数组

      

ini_set('memory_limit', '1024M');

require_once "/path/to/your/vendor/multi-array/MultiArray.php";
require_once "/path/to/your/vendor/multi-array/Factory/MultiArrayFactory.php";
require_once "/path/to/your/class/Jieba.php";
require_once "/path/to/your/class/Finalseg.php";
use Fukuball\Jieba\Jieba;
use Fukuball\Jieba\Finalseg;
Jieba::init();
Finalseg::init();

$seg_list = Jieba::cut("怜香惜玉也得要看对象啊！");
var_dump($seg_list);

$seg_list = Jieba::cut("我来到北京清华大学", true);
var_dump($seg_list); #全模式

$seg_list = Jieba::cut("我来到北京清华大学", false);
var_dump($seg_list); #默認精確模式

$seg_list = Jieba::cut("他来到了网易杭研大厦");
var_dump($seg_list);

$seg_list = Jieba::cutForSearch("小明硕士毕业于中国科学院计算所，后在日本京都大学深造"); #搜索引擎模式
var_dump($seg_list);

　打印输出

array(7) {
  [0]=>
  string(12) "怜香惜玉"
  [1]=>
  string(3) "也"
  [2]=>
  string(3) "得"
  [3]=>
  string(3) "要"
  [4]=>
  string(3) "看"
  [5]=>
  string(6) "对象"
  [6]=>
  string(3) "啊"
}

Full Mode:
array(15) {
  [0]=>
  string(3) "我"
  [1]=>
  string(3) "来"
  [2]=>
  string(6) "来到"
  [3]=>
  string(3) "到"
  [4]=>
  string(