Lucene--TokenStream（TokenFilter、Tokenizer）

TokenStream即是从Document的域（field）中或者查询条件中抽取一个个分词而组成的一个数据流。继承TokenStream的类必须是final类型的，或者至少increamStoken的方法是final的，TokenStream是抽象类，两个子类如下：

TokenFilter：输入参数为另一个TokerStream的TokerStream，这是一个抽象类，其子类必须覆盖TokenStream.incrementToken()函数

Tokenizer：输入为Reader的TokenStream，这是抽象类，其子类必须实现incrementToken()函数。注意：子类覆盖TokenStream.incrementToken()时， 在设置attributes 必须调用AttributeSource中的clearAttributes()方法。

TokenStream的工作流程：

1、实例化Tokenizer或TokenFilter,，添加属性到AttributeSource，或从AttributeSource中获取属性。

2、调用reset()方法

3、从流中和存储本地引用检索想要访问所有属性

4、调用increamStoken()方法，直到返回false

5、调用end（）方法执行任何end-of-stream操作

6、调用close()方法在结束使用TokerStream释放一些资源

end()、reset()、close()的覆盖通常要调用super.end()、super.reset()、super.close()