中文二元语法(bigram)切分词(vbb的代码)

2019独角兽企业重金招聘Python工程师标准>>>

<?php

// ###################### 中文二元语法(bigram)切分词 #######################

// 007pig

function sp_str($str)

{

// 如果只是单字，则直接返回

if (strlen($str) <= 3) {

$ahz[] = $str;

return $ahz;

}

$ahz = array();

$strarr = explode(" ", $str);

foreach ($strarr as $str) 

{

$str = preg_replace("/,|\\\\|\.|\;|:|\"|!|~|`|\^|\(|\)|）|（|．|。|：|，|！| ；|“|”|’|‘|［|］|\?|？|、|-|—|\t|\n|'|<|>|\r|\r\n| | |《|》|－|…|【|】|/","",$str);

$n = strlen($str);

$m = 0;

$j = 0;

for($i=0;$i<$n;$i++)

{

if(ord($str[$i]) > 128)

{

$hz[$m] = $str[$i].$str[$i+1];

if($m > 0)

{

array_push($ahz, $hz[$m-1].$hz[$m]);

$j++;

}

$m++;

$i++;

} 

else 

{

$en .= $str[$i];

}

}

$a_e = preg_split("/[\s,]+/",$en);

$n_e = count($a_e);

for($u = 0;$u < $n_e;$u++)

{

if(strlen($a_e[$u]) < 4 || strlen($a_e[$u]) > 50)

continue;

array_push($ahz, strtolower($a_e[$u]));

$n_a++;

}

$en='';

}

return $ahz;

}

print_r(sp_str("我 是 中国人"));

?>

转载于:https://my.oschina.net/ahuaahua/blog/17002