原创中文分词代码分享（2.1）——基于词典的分词接口

现在来看一下基于词典的分词接口（最大匹配法）。先来看一下分词处理的接口SegmentProcessorImpl：

java 代码

/*   * @作者:Hades , 创建日期:2006-11-17   *   * 汕头大学03计算机本科   *    */   package edu.stu.cn.segment.matching.processor;      import java.util.LinkedList;      import edu.stu.cn.segment.matching.dictionary.DictionaryImpl;      /**   *    * @author Hades Guan 中文分词接口   */   public interface SegmentProcessorImpl   {          /**       * 对srcFile文件进行分词，把结果保存为到tagFile文件中       *        * @param srcFile       *            待分词的文本文件       * @param tagFile       *            分词结果保存目的文件       */       public void fileProcessor(String srcFile, String tagFile);          /**       * @return 返回 dic。       */       public DictionaryImpl getDic();          /**       * @param dic       *            要设置的 dic。       */       public void setDic(DictionaryImpl dic);          /**       * 对text文本进行分词，把结果保存为字符串链表       *        * @param text       *            待分词的文本       * @return 分词结果       */       public LinkedList<string> textProcess(String text);  </string>    }  

接口中定义了4个方法：设置词典setDic，获取词典getDic，对源文件分词后写入目标文件fileProcessor，对text字符串进行分词后返回结果链表textProcess。

接着是实现了SegmentProcessorImpl接口的抽象类MaxSegmentProcessor：

java 代码

/*   * @作者:Hades , 创建日期:2006-11-17   *   * 汕头大学03计算机本科   *    */   package edu.stu.cn.segment.matching.processor;      import java.io.BufferedReader;   import java.io.BufferedWriter;   import java.io.FileNotFoundException;   import java.io.FileReader;   import java.io.FileWriter;   import java.io.IOException;   import java.io.PrintWriter;   import java.util.LinkedList;      import edu.stu.cn.segment.matching.dictionary.DictionaryImpl;      /**   * @author Hades Guan 基于词典匹配的中文分词抽象类   */   public abstract class MatchSegmentProcessor implements SegmentProcessorImpl   {       /**       * 词典操作类       */       protected DictionaryImpl dic = null;          /**       * 分隔符字符串       */       protected String seperator = null;          /**       * 英文数字字符集       */       protected final String CHAR_AND_NUM = "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz";          /**       * 初始化分隔符的方法       */       protected void initSeperator()       {           // 初始化分隔符           StringBuffer buffer = new StringBuffer();           for (char c = '\u0000'; c <= '\u007F'; c++)           {               // 不过滤英文、数字字符               if (this.CHAR_AND_NUM.indexOf(c) < 0)                   buffer.append(c);           }           for (char c = '\uFF00'; c <= '\uFFEF'; c++)               buffer.append(c);           buffer.append("《》？，。、：“；‘’”『』【】－―—─＝÷＋§·～！◎＃￥％…※×（）　");           this.seperator = buffer.toString();       }          /**       * 对srcFile文件进行分词，把结果保存为到tagFile文件中       *        * @param srcFile       *            待分词的文本文件       * @param tagFile       *            分词结果保存目的文件       */       public void fileProcessor(String srcFile, String tagFile)       {           try           {               // 初始化输入输出               BufferedReader in = new BufferedReader(new FileReader(srcFile));               PrintWriter out = new PrintWriter(new BufferedWriter(                       new FileWriter(tagFile)));                  // 读入文件               String line = null;               StringBuffer buffer = new StringBuffer();               while ((line = in.readLine()) != null)               {                   buffer.append(line);               }               // 关闭输入               in.close();                  // 分词处理               LinkedList<string> result = this.textProcess(buffer.toString()  </string>                     .trim());                  // 将结果写入文件               for (String w : result)                   out.println(w);               // 关闭输出               out.flush();               out.close();           }           catch (FileNotFoundException e)           {               // TODO 自动生成 catch 块               e.printStackTrace();           }           catch (IOException e)           {               // TODO 自动生成 catch 块               e.printStackTrace();           }       }          /**       * @return 返回 dic。       */       public DictionaryImpl getDic()       {           return dic;       }          /**       * @param dic       *            要设置的 dic。       */       public void setDic(DictionaryImpl dic)       {           this.dic = dic;       }          /**       * 对text文本进行分词，把结果保存为字符串链表       *        * @param text       *            待分词的文本       * @return 分词结果       */       abstract public LinkedList<string> textProcess(String text);  </string> }  

抽象类中实现了具体实现类中相同的操作：设置词典setDic，获取词典getDic，初始化分隔字符（如：逗号，句号等） initSeperator，文件操作fileProcessor（先从源文件中读入内容构建成为字符串后，调用textProcess操作进行分词，最后将结果输出到目标文件中）。