lucene创建索引

昨天测试了一下，如果每10w条索引合并一次，在5、600w数据的时候合并的次数多，而且每次时间都增加不少。如果再多全部写到RAM里面，则内存消耗很厉害；全部写到临时索引文件在超过1w后速度就开始慢，而且随数量增加消耗时间越多。

最后最终决定做三层交换，先在RAM写5w，然后合并到临时索引文件。当临时索引文件达到40～60w就合并到原来的索引文件。这样由于临时索引文件小，合并的时间短；也不用全部写道RAM里面耗费大量内存；合并到原来索引文件的次数也少很多，虽然合并的时间还是那么长，在达到1G的索引文件合并一次需要200秒左右，但是合并次数少了减少不少时间。

BWT：直接在RAM建索引，除了开始的几百条慢一些，以后基本不会增加，平均不到1毫秒一条，当然前提是消耗的内容不大于物理内存。