lucene对mongodb数据库建索引

最新推荐文章于 2024-07-07 22:41:04 发布

atoishw3263

最新推荐文章于 2024-07-07 22:41:04 发布

阅读量298

点赞数

文章标签：数据库大数据

原文链接：http://www.cnblogs.com/flyingstone/p/3386992.html

版权

实验室需要一个mongodb数据库的搜索引擎，经过几天的奋战，总算是写完了，这里就记录一下lucene对mongodb数据库建索引的经验吧。

我的方法是多线程+RAMDirectory

刚开始，我以为很简单，从服务器上取出了90000条数据到本地数据库，然后每从数据库取出一条数据便对其建索引，结果就这样很傻逼地一条一条地建了一个小时，而且只有10000条。请教了谷歌，发现lucene提供了RAMDirectory类库，可以先把索引建在RAM中，等超过缓存了再写到硬盘，这样可以大大提高速度，因为反复的读写硬盘是很慢很慢的操作。如果再结合多线程的话，想必速度又可以提升一大截。

在RAMDirectory建索引的方法：

RAMDirectory ramdir = new RAMDirectory();
        Analyzer analyzer = new IKAnalyzer();
        IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_44, analyzer);

            IndexWriter ramwriter = new IndexWriter(ramdir,config);
            while (...){
                    
                Document document = new Document();                                    document.add(...);
                    ramwriter.addDocument(document);    
                if (ramwriter.ramSizeInBytes() > rambuffer)
                        ramwriter.commit();
                        IndexWriter.addIndexes(ramdir);//写入到硬盘
                        IndexWriter.commit();
                    
            ramwriter.close();