学习Lucene有两周时间,现就这两周的学习做一个简单小结,写了一个入门级别的实例,如下面所示;
小结:
一、 Lucene是全文搜索引擎,注意是全文检索,但只检索文本。具体应用可以总结为一句话:先建立索引,再进行搜索;
二、从信息源拷贝到本地进行加工,称为索引库(信息集合),加工主要包括建立索引,具体是把文本中的关键字拆分出来建立索引;搜索时在本地索引库中搜索,具体是把搜索的字符串解析后再到索引库中匹配;
三、文本在建立索引和搜索时都会进行分词,并且要使用同一个分词器。
下面展示运行例子,先贴运行截图:
本例子是一个Web项目,需要运行在Servlet容器中,下载附件War包后部署好项目后,先访问后台http://localhost:8080/lucene/admin/index.jsp添加数据:
如图,在D:\\lucene目录下游许多原始数据,主要包括一些文本文件,如Word,Excel,PPT,txt,HTML,XML等,这些文件中包括许多信息;
提交添加完成后访问主页面http://localhost:8080/lucene/ 进行搜索
点击回车或搜索可以看到结果:
可以看到包含关键字Kobe的文本有上图所示那么多,点击可以进行查看相应文档;
代码简要说明:
一、Lucene不能直接对Word,Excel,PPT,PDF等进行检索,检索时需要先抽取出Word,Excel,PPT,PDF包含的文本,抽取文本类为:File2StringUtils,如下所示:
package lucene.service;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import org.apache.pdfbox.pdfparser.PDFParser;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.util.PDFTextStripper;
import org.apache.poi.hslf.HSLFSlideShow;
import org.apache.poi.hslf.model.Slide;
import org.apache.poi.hslf.model.TextRun;
import org.apache.poi.hslf.usermodel.SlideShow;
import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hwpf.extractor.WordExtractor;
public class File2StringUtils {
public static String wordTranslation(File file) throws IOException {
InputStream in = new FileInputStream(file);
WordExtractor wordExtractor = new WordExtractor(in);
return wordExtractor.getText();
}
public static String powerPointTranslation(File file) throws IOException {
InputStream in = new FileInputStream(file);
StringBuffer sb = new StringBuffer("");
SlideShow ss = new SlideShow(new HSLFSlideShow(in));
Slide[] slides = ss.getSlides();
for (int i = 0; i < slides.length; i++) {
TextRun[] t = slides[i].getTextRuns();
for (int j = 0; j < t.length; j++) {
sb.append(t[j].getText());
}
sb.append(slides[i].getTitle());
}
return sb.toString();
}
public static String excelTranlation(File file) {
StringBuffer sb = new StringBuffer("");
try {
InputStream in = new FileInputStream(file);
HSSFWorkbook workbook = new HSSFWorkbook(in);
int numberOfSheet = workbook.getNumberOfSheets();
for(int i = 0 ; i < numberOfSheet ; i ++) {
HSSFSheet sheet = workbook.getSheetAt(i);
int rows = sheet.getLastRowNum();
for(int j = 0 ; j < rows; j ++) {
HSSFRow row = sheet.getRow(j);
int cells = row.getLastCellNum();
for(int k = 0 ; k < cells ; k ++) {
HSSFCell cell = row.getCell(k);
String str = cell.getStringCellValue();
sb.append(str + " ");
}
}
}
} catch (Exception e) {
return sb.toString();
}
return sb.toString();
}
public static String pdfTranslation(File file) throws IOException {
InputStream in = new FileInputStream(file);
PDFParser parser = new PDFParser(in);
parser.parse();
PDDocument doc = parser.getPDDocument();
PDFTextStripper stripper = new PDFTextStripper();
return stripper.getText(doc);
}
public static void main(String[] args) throws IOException {
// File file= new File("D:\\lucene\\doc.doc");
// System.out.println(wordTranslation(file));
// File file= new File("D:\\lucene\\ppt.ppt");
// System.out.println(powerPointTranslation(file));
// File file= new File("D:\\lucene\\xls.xls");
// System.out.println(excelTranlation(file));
File file= new File("D:\\lucene\\pdf.pdf");
System.out.println(pdfTranslation(file));
}
}
二、创建索引部分代码:
private Document getDocument(File file) throws IOException {
Document doc = new Document();
doc.add(new Field(
"path",
file.getPath(),
Field.Store.YES,
Field.Index.NOT_ANALYZED
));
doc.add(new Field(
"modified",
new SimpleDateFormat("yyyy:MM:dd HH:mm:ss").format(file.lastModified()),
Field.Store.YES,
Field.Index.NOT_ANALYZED
));
doc.add(new Field("contents", getTextualReader(file)));
return doc;
}
private Reader getTextualReader(File file) throws IOException {
if(file.getName().endsWith(".doc")) {
return new StringReader(File2StringUtils.wordTranslation(file));
} else if(file.getName().endsWith(".ppt")) {
return new StringReader(File2StringUtils.powerPointTranslation(file));
}else if(file.getName().endsWith(".xls")) {
return new StringReader(File2StringUtils.excelTranlation(file));
}else {
return new FileReader(file);
}
}
具体细节代码查看附件
完