获取一个索引文件频率最高的Term（可实现热点关键字的一个思路之一）

    前段时间同事也开始对搜索感兴趣，他看到luke工具界面上会显示Term的频率数，提出通过索引用户的搜索日志中的检索关键字，我们是否可以利用这个Field字段中Term频率高低来说明其是否代表热点关键字。

    想想觉得也是有一点在理，特别是对用户没有任何可分析性的情况下。但这就引出了一个问题：如何获取整个索引文件里频率最高的哪几个Term？

    翻了几次API，网上也搜了但没找到什么信息，仅仅看到网上有一篇文章讲到通过IndexReader取出所有的Term，然后再比较每一个的频率，最终得出最高频率的哪几个Term。但这又让我们顾虑的是当大数据量时如何确保其速度？

    既然luke可以在界面上展示出来，那它一定实现了这个功能，所以今天下了源代码，不过发现其已经不支持Lucene3.0.2，查看更新日志原来他们已经更新到可兼容未来Lucene4.0.0版本。最后从日志里找出已被删除的两个java文件：HighFreqTerms.java 和TermInfo.java，源代码如下（本人在里面添加了注释，如有错误请大家帮忙纠正，:-D）：

import org.apache.lucene.index.Term;
public class TermInfo {
   public Term term;
   public int docFreq; //term频率
  
   public TermInfo(Term t, int df) {
     this.term = t;
     this.docFreq = df;
  }
}

import org.apache.lucene.util.PriorityQueue;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.TermEnum;
import java.io.File;
import java.util.Hashtable;
/**
 * 获取一个索引文件中最高频率Term数组
 * <code>HighFreqTerms</code> class extracts terms and their frequencies out
 * of an existing Lucene index.
 *
 * @version $Id: HighFreqTerms.java,v 1.2 2003/11/08 10:55:40 Administrator Exp $
 */
public class HighFreqTerms {
     public static int defaultNumTerms = 10; //初始化默认取出top defaultNumTerms-1条
    
     public static void main(String[] args) throws Exception {
        Directory dir = FSDirectory.open( new File( "D://DATAMANAGER//INDEX//SYS_3000"));
        TermInfo[] terms = getHighFreqTerms(IndexReader.open(dir), null, new String[]{ "content"});
         for ( int i = 0; i < terms.length; i ++) {
            System.out.println(i + "./t" + terms[i].term + ":" +terms[i].docFreq);
        }
    }
    
     /**
     * 取出频率最高的term列表
     * @param ir IndexReader
     * @param junkWords Hashtable 过滤词
     * @param fields 可获取多个Field new String[]{"title","content"}
     * @return TermInfo[] 
     * @throws Exception
     */
     public static TermInfo[] getHighFreqTerms(IndexReader ir, Hashtable junkWords, String[] fields) throws Exception {
         return getHighFreqTerms(ir, junkWords, defaultNumTerms, fields);
    }
    
     /**
     * 取出频率最高的term列表
     * @param reader IndexReader
     * @param junkWords Hashtable 过滤词
     * @param numTerms 初始化队列的大小即取出numTerms-1条
     * @param fields 可获取多个Field new String[]{"title","content"}
     * @return TermInfo[] 
     * @throws Exception
     */
     public static TermInfo[] getHighFreqTerms(IndexReader reader, Hashtable junkWords, int numTerms, String[] fields) throws Exception {
         if (reader == null || fields == null) return null;
        TermInfoQueue tiq = new TermInfoQueue(numTerms); //实例化一个numTerms大小存放TermInfo的队列
        TermEnum terms = reader.terms(); //读取索引文件里所有的Term
         int minFreq = 0; //队列最后一个Term的频率即当前最小频率值
         while (terms.next()) { //取出一个Term对象出来
            String field = terms.term().field();
             if (fields != null && fields.length > 0) {
                 boolean skip = true; //跳过标识
                 for ( int i = 0; i < fields.length; i ++) {
                     if (field.equals(fields[i])) { //当前Field属于fields数组中的某一个则不跳过
                        skip = false;
                         break;
                    }
                }
                 if (skip) continue;
            }
             //当前term的内容是过滤词，则直接跳过
             if (junkWords != null && junkWords.get(terms.term().text()) != null) continue;
           
             //获取最高频率term的核心代码
             //(队列底层是最大频率Term，顶层是最小频率Term，当插入一个元素后超出初始化队列大小则pop最上面的那个元素，重新设置最小频率值minFreq)
             if (terms.docFreq() > minFreq) { //当前Term的频率大于最小频率则插入队列中
                tiq.insertWithOverflow( new TermInfo(terms.term(), terms.docFreq()));
                 if (tiq.size() > = numTerms) // if tiq overfull 当队列中的个数大于numTerms
                {
                    tiq.pop();   // remove lowest in tiq 取出最小频率的元素即最上面的一个元素
                    minFreq = ((TermInfo)tiq.top()).docFreq; // reset minFreq 重新设置当前最顶层Term的频率为minFreq
                }
            }
        }
         //pop出队列元素，最终存放在数组中元素的term频率按从大到小排列
        TermInfo[] res = new TermInfo[tiq.size()];
         for ( int i = 0; i < res.length; i ++) {
            res[res.length - i - 1] = (TermInfo)tiq.pop();
        }
         return res;
    }
}
//队列，用于term频率比较的队列
final class TermInfoQueue extends PriorityQueue <TermInfo > {
    TermInfoQueue( int size) {
        initialize(size);
    }
     protected final boolean lessThan(TermInfo a, TermInfo b) {
         return a.docFreq < b.docFreq;
    }
}