Lucene（8_2_0）核心API学习 之 TokenStream（一）

一、继承

org.apache.lucene.analysis.TokenStream  entends org.apache.lucene.util.AttributeSource

二、详情

1. TokenStream是一个抽象类，是一系列Token的枚举，这里的Token有两个来源，一是Document的Fields，一是查询语句Query；
2. 这是一个抽象类，有两个具体子类：

Tokenizer，分词器，输入为Reader；

TokenFilter，过滤器，输入为TokenStream；

用法：一般先用分词器分词，然后用过滤器过滤，这样可以缩小搜索范围，提高效率；

      3. TokenStream继承于AttributeSource，AttributeSource提供给TokenStream访问所有Token属性Attributes的方法。注意每一个AttributeImpl（Attribute的实现类）只有一个实例（单例模式）被创造，然后被所有的tokens重复使用。这样做是为了减少创建对象的消耗，同时允许对AttributeImpl引用的本地缓存。看incrementToken（）可以获得更多详情。

三、TokenStream工作流程的核心API

1. 实例化（Instantiation）：实例化一个TokenStream或TokenFilter需要从AttributeSource添加相应的属性；
2. 状态重置（reset）：消费者在使用token前一定要先将状态reset（），因为每一个属性是单例的，被所有token使用；
3. 查询属性并存储在本地：消费者从stream流中检索属性，并在本地存储指向这些属性的引用；
4. 调用incrementToken（）：消费者不断调用incrementToken，获取下一个Token，直到返回错误；
5. end（）：消费者调用end（）表示token已经遍历完了，可以执行一些遍历结束时的操作；
6. close（）：释放相关资源；

        我的理解：把Token当做建立索引时lucene可以处理的最小单元，而TokenStream是一个存储了一系列Token的流，当你需要使用时，一个一个从流中取出Token来处理。

四、进一步解释

• 为了确保消费者和过滤器知道哪些属性是可用的，这些属性必须在实例化时被添加进去。过滤器和消费者不小在incrementToken（）中检查这些属性的可用性；
• 应为TokenStream的API是基于装饰者模式的，因此所有的非抽象子类必须是final，或者至少有一个final修饰的incrementToken（）的实现方法！