Ikanalyzer分词器动态自定义词库的方法

  IKanalyzer可通过配置Ikanalyzer.cfg.xml进行自定义词库,但有时需要在程序中根据不同的文章动态调用不同的词库进行分词,这就需要自定义Configuration类来实现。方法如下:

首先,拷贝Ikanalyzer源码中的DefaultConfig.java,改为MyConfiguration.java,然后做如下改写:

public class MyConfiguration implements Configuration{
//懒汉单例
private static final Configuration CFG = new MyConfiguration();
/*
* 分词器默认字典路径 
*/
private  String PATH_DIC_MAIN = "org/wltea/analyzer/dic/main2012.dic";   //需要把static final去掉
private  String static final PATH_DIC_QUANTIFIER = "org/wltea/analyzer/dic/quantifier.dic";  
/*
* 分词器配置文件路径
*/
private static final String FILE_NAME = "IKAnalyzer.cfg.xml";//保留静态自定义词库的功能
//配置属性——扩展字典
private static final String EXT_DICT = "ext_dict";
//配置属性——扩展停止词典
private static final String EXT_STOP = "ext_stopwords";

private Properties props;
/*
* 是否使用smart方式分词
*/
private boolean useSmart;

/**
* 返回单例
* @return Configuration单例
*/
public static Configuration getInstance(){
return CFG;
}

/*
* 初始化配置文件
*/
MyConfiguration(){
props = new Properties();
 
InputStream input = this.getClass().getClassLoader().getResourceAsStream(FILE_NAME);

if(input != null){
try {
props.loadFromXML(input);
} catch (InvalidPropertiesFormatException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
/**
* 返回useSmart标志位
* useSmart =true ,分词器使用智能切分策略, =false则使用细粒度切分
* @return useSmart
*/
public boolean useSmart() {
return useSmart;
}
/**
* 设置useSmart标志位
* useSmart =true ,分词器使用智能切分策略, =false则使用细粒度切分
* @param useSmart
*/
public void setUseSmart(boolean useSmart) {
this.useSmart = useSmart;
}
/**
* 新加函数:设置主词典路径

* @return String 主词典路径
*/

public void setMainDictionary(String path) {
this.PATH_DIC_MAIN = path;
}
/**
* 获取主词典路径

* @return String 主词典路径
*/
public String getMainDictionary(){
return PATH_DIC_MAIN;
}


/**
* 获取量词词典路径
* @return String 量词词典路径
*/
public String getQuantifierDicionary(){
return PATH_DIC_QUANTIFIER;
}


/**
* 获取扩展字典配置路径
* @return List<String> 相对类加载器的路径
*/
public List<String> getExtDictionarys(){
List<String> extDictFiles = new ArrayList<String>(2);
 
String extDictCfg = props.getProperty(EXT_DICT);
if(extDictCfg != null){
//使用;分割多个扩展字典配置
String[] filePaths = extDictCfg.split(";");
if(filePaths != null){
for(String filePath : filePaths){
if(filePath != null && !"".equals(filePath.trim())){
extDictFiles.add(filePath.trim());
}
}
}
}
return extDictFiles;
}




/**
* 获取扩展停止词典配置路径
* @return List<String> 相对类加载器的路径
*/
public List<String> getExtStopWordDictionarys(){
List<String> extStopWordDictFiles = new ArrayList<String>(2);
String extStopWordDictCfg = props.getProperty(EXT_STOP);
if(extStopWordDictCfg != null){
//使用;分割多个扩展字典配置
String[] filePaths = extStopWordDictCfg.split(";");
if(filePaths != null){
for(String filePath : filePaths){
if(filePath != null && !"".equals(filePath.trim())){
extStopWordDictFiles.add(filePath.trim());
}
}
}
}
return extStopWordDictFiles;
}
}

调用方法 在分词程序中调用方法如下:

String text = "";//需要分词的字符串

MyConfiguration mycfg =  new  MyConfiguration();
mycfg.setUseSmart(true);
 //设置为智能分词
mycfg.setMainDictionary("msay.dic");
 //动态设置自定义的词库
IKSegmenter seg = new IKSegmenter(new StringReader(text) ,mycfg);

.......

本源码经测试可正常运行。

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值