[转]一个用php写的中文分词类

转载 2006年06月11日 01:29:00


一个用php写的中文分词类

  1. <?php
  2. class Segmentation {
  3.     var $options = array('lowercase' => TRUE,
  4.                          'segment_english' => FALSE);
  5.     var $dict_name = 'Unknown';
  6.     var $dict_words = array();
  7.     function setLowercase($value) {
  8.         if ($value) {
  9.             $this->options['lowercase'] = TRUE;
  10.         } else {
  11.             $this->options['lowercase'] = FALSE;
  12.         }
  13.         return TRUE;
  14.     }
  15.     function setSegmentEnglish($value) {
  16.         if ($value) {
  17.             $this->options['segment_english'] = TRUE;
  18.         } else {
  19.             $this->options['segment_english'] = FALSE;
  20.         }
  21.         return TRUE;
  22.     }
  23.     function load($dict_file) {
  24.         if (!file_exists($dict_file)) {
  25.             return FALSE;
  26.         }
  27.         $fp = fopen($dict_file, 'r');
  28.         $temp = fgets($fp, 1024);
  29.         if ($temp === FALSE) {
  30.             return FALSE;
  31.         } else {
  32.             if (strpos($temp, "/t") !== FALSE) {
  33.                 list ($dict_type, $dict_name) = explode("/t", trim($temp));
  34.             } else {
  35.                 $dict_type = trim($temp);
  36.                 $dict_name = 'Unknown';
  37.             }
  38.             $this->dict_name = $dict_name;
  39.             if ($dict_type !== 'DICT_WORD_W') {
  40.                 return FALSE;
  41.             }
  42.         }
  43.         while (!feof($fp)) {
  44.             $this->dict_words[rtrim(fgets($fp, 32))] = 1;
  45.         }
  46.         fclose($fp);
  47.         return TRUE;
  48.     }
  49.     function getDictName() {
  50.         return $this->dict_name;
  51.     }
  52.     function segmentString($str) {
  53.         if (count($this->dict_words) === 0) {
  54.             return FALSE;
  55.         }
  56.         $lines = explode("/n", $str);
  57.         return $this->_segmentLines($lines);
  58.     }
  59.     function segmentFile($filename) {
  60.         if (count($this->dict_words) === 0) {
  61.             return FALSE;
  62.         }
  63.         $lines = file($filename);
  64.         return $this->_segmentLines($lines);
  65.     }
  66.     function _segmentLines($lines) {
  67.         $contents_segmented = '';
  68.         foreach ($lines as $line) {
  69.             $contents_segmented .= $this->_segmentLine(rtrim($line)) . " /n";
  70.         }
  71.         do {
  72.             $contents_segmented = str_replace('  ', ' ', $contents_segmented);
  73.         } while (strpos($contents_segmented, '  ') !== FALSE);
  74.         return $contents_segmented;
  75.     }
  76.     function _segmentLine($str) {
  77.         $str_final = '';
  78.         $str_array = array();
  79.         $str_length = strlen($str);
  80.         if ($str_length > 0) {
  81.             if (ord($str{$str_length-1}) >= 129) {
  82.                 $str .= ' ';
  83.             }
  84.         }
  85.         for ($i=0; $i<$str_length; $i++) {
  86.             if (ord($str{$i}) >= 129) {
  87.                 $str_array[] = $str{$i} . $str{$i+1};
  88.                 $i++;
  89.             } else {
  90.                 $str_tmp = $str{$i};
  91.                 for ($j=$i+1; $j<$str_length; $j++) {
  92.                     if (ord($str{$j}) < 129) {
  93.                         $str_tmp .= $str{$j};
  94.                     } else {
  95.                         break;
  96.                     }
  97.                 }
  98.                 $str_array[] = array($str_tmp);
  99.                 $i = $j - 1;
  100.             }
  101.         }
  102.   
  103.         $pos = count($str_array);
  104.         while ($pos > 0) {
  105.             $char = $str_array[$pos-1];
  106.             if (is_array($char)) {
  107.                 $str_final_tmp = $char[0];
  108.                 if ($this->options['segment_english']) {
  109.                     $str_final_tmp = preg_replace("/([/!/"/#/$/%/&/'/(/)/*/+/,/-/.///:/;/</=/>/?/@/[/////]/^/_/`/{/|/}/~/t/f]+)/", " $1 ", $str_final_tmp);
  110.                     $str_final_tmp = preg_replace("/([/!/"/#/$/%/&/'/(/)/*/+/,/-/.///:/;/</=/>/?/@/[/////]/^/_/`/{/|/}/~/t/f])([/!/"/#/$/%/&/'/(/)/*/+/,/-/.///:/;/</=/>/?/@/[/////]/^/_/`/{/|/}/~/t/f])/", " $1 $2 ", $str_final_tmp);
  111.                 }
  112.                 if ($this->options['lowercase']) {
  113.                     $str_final_tmp = strtolower($str_final_tmp);
  114.                 }
  115.                 $str_final = " $str_final_tmp$str_final";
  116.                 $pos--;
  117.             } else {
  118.                 $word_found = 0;
  119.                 $word_array = array(0 => '');
  120.                 if ($pos < 4) {
  121.                     $word_temp = $pos + 1;
  122.                 } else {
  123.                     $word_temp = 5;
  124.                 }
  125.                 for ($i=1; $i<$word_temp; $i++) {
  126.                     $word_array[$i] = $str_array[$pos-$i] . $word_array[$i-1];
  127.                 }
  128.     
  129.                 for ($i=($word_temp-1); $i>1; $i--) {
  130.      
  131.                     if (array_key_exists($word_array[$i], $this->dict_words)) {
  132.                        $word_found = $i;
  133.                        break;
  134.                     }
  135.                 }
  136.                 if ($word_found) {
  137.                     $str_final = " $word_array[$word_found]$str_final";
  138.                     $pos = $pos - $word_found;
  139.                 } else {
  140.                     $str_final = " $char$str_final";
  141.                     $pos--;
  142.                 }
  143.             }
  144.         }
  145.         return $str_final;
  146.     }
  147. }
  148. ?>

 

来源参考:
http://www.phpchina.cn/code/2006/0607/381.html
http://www.xuchao.cn/?play=reply&id=851

相关文章推荐

php分词类 效果很不错

  • 2011年11月04日 15:24
  • 928KB
  • 下载

发布一个纯PHP的中文关键字自动提取工具

周末的时候看到腾讯的空间里面写日志的时候能自动提取关键字,感觉这个功能非常的好,于是我自己准备也写一个。因为,提取关键字,肯定要涉及分词,现在的分词算法,最好的估计是统计算法,但是实现稍微复杂一点,用...

分享一个用php写的人民币数字转人民币大写的函数

时候我们需要在应用程序中使用随机生成用户名和密码,这样可以大大提高应用程序的安全,在PHP中生成随机用户名和密码可以使用 mt_rand 函数或者是 rand 函数, rand 函数在验证码中的应用多...
  • zhc2006
  • zhc2006
  • 2016年07月13日 09:17
  • 123

一个php写的WebMail邮局

  • 2002年06月20日 00:00
  • 128KB
  • 下载

PHP写的一个论坛模板

  • 2016年05月08日 02:36
  • 13KB
  • 下载

PHP的UTF-8中文转拼音处理类

php写的一个留言本

  • 2008年05月31日 23:46
  • 11KB
  • 下载

一个用php写的tree

  • 2008年10月04日 10:31
  • 14KB
  • 下载

PHP中文乱码之开发中的常见问题 【转】

PHP中文乱码之开发中的常见问题
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[转]一个用php写的中文分词类
举报原因:
原因补充:

(最多只允许输入30个字)