Lucene Scoring 评分机制 ( by quqi99 )

原创 2011年01月24日 11:14:00

                         Lucene评分机制( by quqi99 )


作者:张华 发表于:2011-01-24


版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明


 /**
     * 利用IndexReader获取下列信息,注意,建索引时需加Field.TermVector.YES:
     (1) 统计term在整个collection中的文档频度(document frequency, DF);
     (2) 统计term在整个collection中出现的词次(term frequency in whole collection);
     (3) 统计term在某个文档中出现的频度(term frequency, TF);
     (4) 列出term在某文档中出现的位置(position);
     (5) 整个collection中文档的个数;
     */
    public static void printIndex(IndexReader reader) throws Exception
    {
        // 显示有多少个document
        System.out.println(reader + "/tNumDocs = " + reader.numDocs());
        for (int i = 0; i < reader.numDocs(); i++)
        {
            System.out.println(reader.document(i));
        }

        // 枚举term,获得<document, term freq, position* >信息
        TermEnum termEnum = reader.terms();
        while (termEnum.next())
        {
            System.out.println(termEnum.term());
            System.out.println("/tDocFreq=" + termEnum.docFreq());

            TermPositions termPositions = reader.termPositions(termEnum.term());
            int i = 0;
            int j = 0;
            while (termPositions.next())
            {
                System.out.println((i++) + "->" + " DocNo:" + termPositions.doc() + ", Freq:" + termPositions.freq());
                for (j = 0; j < termPositions.freq(); j++)
                    System.out .println("[" + termPositions.nextPosition() + "]");
                System.out.println();
            }

            // 直接获取 <term freq, document> 的信息
            TermDocs termDocs = reader.termDocs(termEnum.term());
            while (termDocs.next())
            {
                System.out.println((i++) + "->" + " DocNo:" + termDocs.doc()  + ", Freq:" + termDocs.freq());
            }
        }

        //在reader是SegmentReader类型的情况下有效
        // FieldInfos fieldInfos = reader.fieldInfos;
        // FieldInfo pathFieldInfo = fieldInfos.FieldInfo("path");

        // 显示 term frequency vector
        for (int i = 0; i < reader.numDocs(); i++)
        {
            // 对contents的token之后的term存于了TermFreqVector
            TermFreqVector termFreqVector = reader.getTermFreqVector(i,"contents");
            if (termFreqVector == null)
            {
                System.out.println("termFreqVector is null.");
                continue;
            }
            String fieldName = termFreqVector.getField();
            String[] terms = termFreqVector.getTerms();
            int[] frequences = termFreqVector.getTermFrequencies();
            System.out.println("FieldName:" + fieldName);
            for (int j = 0; j < terms.length; j++)
            {
                System.out.println("[" + terms[j] + ":" + frequences[j] + "]");
            }
            System.out.println();
        }
        System.out.println();
    }

版权声明:本文为博主原创文章,如需转载,请注明出处!

Lucene Scoring 评分机制

版权信息: 可以任意转载, 转载时请务必以超链接形式标明文章原文出处, 即下面的声明. 原文出处:http://blog.chenlb.com/2009/08/lucene-scorin...
  • sl0007
  • sl0007
  • 2012年08月25日 11:35
  • 424

小编辑 Lucene 的 Scoring 评分机制

Lucene 评分体系/机制(lucene scoring)是 Lucene 出名的一核心部分。它对用户来说隐藏了很多复杂的细节,致使用户可以简单地使用 lucene。但个人觉得:如果要根据自己的应用...

什么是白牌机什么是ONIE (by quqi99)

作者:张华  发表于:2015-05-05版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明( http://blog.csdn.net/quqi99 )这篇文章《...
  • quqi99
  • quqi99
  • 2015年05月05日 22:08
  • 5483

关于VXLAN与异构云之间的集成 ( by quqi99 )

关于VXLAN与异构云之间的集成 ( by quqi99 ) 作者:张华  发表于:2013-06-25 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 (...
  • quqi99
  • quqi99
  • 2013年06月25日 15:27
  • 10329

将kubernetes跑在本地LXD容器中(by quqi99)

版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 (http://blog.csdn.net/quqi99)问题本文将kubernetest跑在本地LXD容器中。...
  • quqi99
  • quqi99
  • 2017年11月12日 21:18
  • 261

用java模拟curl利用cookie登录抓取一个受密码保护的新页面 ( by quqi99 )

用java模拟curl利用cookie登录抓取一个受密码保护的新页面 ( by quqi99 )
  • quqi99
  • quqi99
  • 2011年01月11日 19:31
  • 15686

用OpenSSL做自签名的证书(by quqi99)

作者:张华  发表于:2014-04-18 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 (http://blog.csdn.net/quqi99 )...
  • quqi99
  • quqi99
  • 2014年04月18日 16:54
  • 6520

OpenStack中ipv6的设计与使用的一些理论分析(未测试)( by quqi99 )

OpenStack中ipv6的设计与使用的一些理论分析(未测试)( by quqi99 ) 作者:张华  发表于:2013-03-29 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始...
  • quqi99
  • quqi99
  • 2013年03月29日 17:11
  • 3491

通配符中一个星号两个星号和globstar的关系(by quqi99)

版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 (http://blog.csdn.net/quqi99)问题今天在处理一个AppArmor的问题时,遇到一个奇...
  • quqi99
  • quqi99
  • 2017年11月16日 15:50
  • 157

OpenStack高可用 -- 本地文件系统规划,Raid与LVM ( by quqi99 )

OpenStack高可用 -- 本地文件系统规划,Raid与LVM ( by quqi99 ) 作者:张华  发表于:2013-07-21 版权声明:可以任意转载,转载时请务必以超链接形式标明...
  • quqi99
  • quqi99
  • 2013年07月21日 10:26
  • 2561
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Lucene Scoring 评分机制 ( by quqi99 )
举报原因:
原因补充:

(最多只允许输入30个字)