solr的问题 CharFilterFactory子类使用后，出现不分词情况

问题来源 http://www.oschina.net/question/207854_149984

只要使用了CharFilterFactory，如 HTMLStripCharFilterFactory,则会出现不分词的情况

 

在AnalysisRequestHandlerBase 下面有这段代码

   NamedList<Object> namedList = new NamedList<Object>();

    if( cfiltfacs != null ){
      String source = value;
      for(CharFilterFactory cfiltfac : cfiltfacs ){
        Reader reader = new StringReader(source);
        reader = cfiltfac.create(reader);
        source = writeCharStream(namedList, reader);
      }

    }

 

改为 

NamedList<Object> namedListfilter = new NamedList<Object>();

    if( cfiltfacs != null ){

      String source = value;

      for(CharFilterFactory cfiltfac : cfiltfacs ){

        Reader reader = new StringReader(source);
        reader = cfiltfac.create(reader);
        //source = getCharStream(reader);//picksun
        source = writeCharStream(namedListfilter, reader);

      }

      value=source;//picksun

    }

    NamedList<Object> namedList = new NamedList<Object>();//picksun

把value转换为过滤后的新的值，才能在下一步中进行分词;

而且把CharFilterFactory过滤的内容放在NamedList的最前，

会导致分词的结果无法得到。

至于namedList的内容 要不要add到 namedListfilter ，悉听尊便。

后记

这应该是solr的一个bug。

遗憾的是这个问题，我发现在solr 3.6.2的版本也有，看来是老问题了。

不知道是否大家都不用CharFilterFactory，才没有发现这个错误。