学习笔记

1、工程目录2、自定义评分一、根据文件大小来评分，文件越大，权重越低package util;import java.io.IOException;import org.apache.lucene.index.IndexReader;import org.apache.lucene.index.Term;import org.apache.lucene.search.In

QueryParser的自定义和扩展个别方法的功能，其实也就是重写一些方法package org.itat.lucene.util;import java.text.SimpleDateFormat;import java.util.regex.Pattern;import org.apache.lucene.analysis.Analyzer;import org.apache

package util;import java.io.IOException;import org.apache.lucene.index.IndexReader;import org.apache.lucene.index.Term;import org.apache.lucene.index.TermDocs;import org.apache.lucene.search.Doc

Tika是Apache的Lucene项目下面的子项目，在lucene的应用中可以使用tika获取大批量文档中的内容来建立索引，非常方便，也很容易使用~Tika的缺点就是都是依赖外部的jar包，导致jar包的重量太大，lucene的核心包只有1M，tika约20M，tika依赖的外部的jar包有多样的功能，比如PDFBox和Apache POI能获取文档的字体，布置和内置图片信息，而Tika只是

转载：http://www.2016k.com/programmer/java/06-40.html转载：http://www.cnblogs.com/huangfox/archive/2010/10/14/1851233.html参考：http://lucene-group.group.iteye.com/group/topic/24404将indexReader和Index

lucene通过NRTManager这个类来实现近实时搜索，所谓近实时搜索即在索引发生改变时，通过线程跟踪，在相对很短的时间反映给给用户程序的调用NRTManager通过管理IndexWriter对象，并将IndexWriter的一些方法（增删改）例如addDocument,deleteDocument等方法暴露给客户调用，它的操作全部在内存里面，所以如果你不调用I

转载：http://www.cnblogs.com/zengen/archive/2010/11/30/1892241.html紧接上一篇 Lucene 如何实现高性能GroupBy  的讲：Lucene--Util--PriorityQueue.cs先给大家看一段代码，来源于PriorityQueue类 protected internal void Initializ

转：http://www.cnblogs.com/zengen/archive/2011/04/19/2020681.html在2010年的时候，写过两篇关于LUCENE高性能GROUP BY、DISTINCT的文章，最近在研究LUCENE的过程中发现了一个名为FieldCache的东东，于是乎重新改进Lucene高性能GROUP BY、DISTINCT，发现性能有了数量级别的提升，究

转载：http://www.cnblogs.com/zengen/archive/2010/11/24/1886244.html注：以下讲解代码均以Lucene.net 2.9.2为例。GroupBy效果应用（http://www.tradetuber.com/search?key=led）Lucene如果实现高性能的GroupBy、SortBy效果，我想这个应该是Lucene

转：http://www.cnblogs.com/huangfox/archive/2012/02/14/2350349.htmlspellChecker是用来对用户输入的“检索内容”进行校正，例如百度上搜索“麻辣将”，他的提示如下图所示：我们首先借用lucene简单实现该功能。本文内容如下（简单实现、原理简介、现有问题）

转：http://www.cnblogs.com/huangfox/archive/2012/07/10/2584750.htmlhttp://blog.163.com/liugangc@126/blog/static/20374821201011313238137/1、工程目录所谓分组统计，就是类似sql里group by的功能。在solr里，这个功能称为faceting

1、工程结构2、查询语法代码package org.itat.index;import java.io.File;import java.io.IOException;import java.io.StringReader;import java.text.ParseException;import java.text.SimpleDateFormat;import

转载地址：http://ybzshizds.iteye.com/blog/562794Token： 如果一个字段被token化，这表示它经过了一个可将内容转化为tokens串的分析程序。 Token是建立索引的基本单位，表示每个被编入索引的字符。 在token化的过程中，分析程序会在使用任何转换逻辑（例如去掉 "a” 或 "the" 这类停用词，执行词干搜寻，将无大小写区分的所有文字转换成小写

注意：   在lucene2.9中，排序的字段域必须indexed但是不能tokenized。因为虽然tokenized后虽然可以排序，但是有可能不是你想要的结果，因为tokenized可能会去除停用词或者大小写转换等。(in Lucene 2.9 and when reading java doc for the Sort class I noticed it says "The f

转：http://blog.sina.com.cn/s/blog_4b3b7aff0100g3wh.htmlLucene的分词器部分是经常被修改的，我们实验室自己的分词器更适合自然语言处理，因此如何挂载自己的分词结果呢？在Lucene 3 中，发生了较大的变化。研究了半天，只需重写Tokenizer即可，关键是incrementToken()函数，用来向索引表写入词语数据和位移数据。其中的FM

转：http://hxraid.iteye.com/blog/634577一个优秀的IR system要做好的第一件事就是利用自然语言处理技术(NLP)对文本进行分析。其中分词是最基本的，其性能直接决定IR system的搜索精度和速度。因此，大型Web搜索引擎都有自己的分词工具。 Lucene3.0 的分析器由三个包组成：(1) org.apache.luce

1、工程目录2、lucene的创建搜索过程3、建立索引的示意图4、硬盘和内存中创建索引示意图5、lucene的创建及其搜索的代码package cn.hj.lucene.helloworld;import jeasy.analysis.MMAnalyzer;import org.apache.lucene.analysis.Analy

转：http://blog.snnu.edu.cn/space/viewspacepost.aspx?postid=19&spaceid=21 lucene简介1.1 什么是luceneLucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。1.2 l

1、工程结构图2、排序的几种方式03、增删改查索引package cn.hj.lucene.dao;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import

1、2、语汇单元的结构解释3、同义词的设计思路4、分词器的比较和测试package org.lucene.test;import java.io.File;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.an

1、工程结构2、索引创建时的属性：Field.Store.YES或者NO(存储域选项)设置为YES表示或把这个域中的内容完全存储到文件中，方便进行文本的还原设置为NO表示把这个域的内容不存储到文件中，但是可以被索引，此时内容无法完全还原(doc.get)Field.Index(索引选项)Index.ANALYZED:进行分词和索引，适用于标题、内容等Inde

1、实现查询类TermQuery怎么去关联Analyzer？QueryParser检索的时候就必须指定。 TermQuery不需要。 TermQuery是根据分词后的Term来检索的。所以不需要啦。http://code.google.com/p/luke/ （对应你Lucene的版本）能够查看lucene生产的那些索引文件。 这里你能看到有些域进行分词以后的Term。如果只下