PyLucene学习之三

Lucene分析器及统计词频

分析

分析（Analysis），在Lucene中指的是将域（Field）文本转换成最基本的索引表示单元—项（Term）的过程。

语汇单元化过程（tokenization），从文本中提取的文本块称为语汇单元（token）。语汇单元与它的域名结合后，就形成了项（Term）。

只有由分析器产生的语汇单元才能被搜索，例外情况是索引对应的域时使用Field.Index.NOT_ANALYZED或者Field.Index,NOT_ANALYZED_NO_FORMS选项，该情况下整个域值都被作为一个语汇单元，从而能被搜索到。

---

统计词频

为项目需求，得统计每个词出现的频率，lucene提供的主要搜索方式是对应于当某篇文档中出现搜索的词语，就返回这篇文档。但因为文档的排序多涉及到tf-idf，所以肯定会计算一篇文章中该词出现的频率，通过大量的阅读lucene官方文档，解决了该问题。
在索引部分：

t2 = FieldType()
t2.setIndexed(True)
t2.setStored(False)
t2.setTokenized(True)
        t2.setIndexOptions(FieldInfo.IndexOptions.DOCS_AND_FREQS_AND_POSITIONS)

在搜索部分：

term = Term("contents", text)
term_vector = reader.totalTermFreq(term)
print "%s total terms" % term_vector

但是需要注意，现在搜索的这部分没有使用分析器，所以输入的是什么就会去搜索什么，但是在索引的部分是加了分析器，例如平安银行，在索引的部分就会被分为平安和银行，在搜索的时候就搜不到平安银行这个词。