lucene索引的增删改（增量索引）

 

 

 

转自：http://tonlo.com/space.php?uid=12933&do=blog&id=8669

 

学lucene也有一段时间了，由于公司环境要求，所以使用的不是java版，而是C#版的，也就是lucene.net。

 

由于是企业级应用，系统上线的时候必须满足增量索引的要求，相信学习lucene的朋友们都知道，lucene自身在增量索引方面实在不敢恭维，因此业界中也出现了一些解决方案，例如Compass方案，就是专门针对了lucene增量索引的问题而开发的，可恨的是，compass是java的框架，并没有相应的.net版，我相信使用.net 版lucene的朋友都或多或少受过这个痛苦，陷于进退两难阶段。

 

因此，针对这种情况，网上有些牛人也想一些只针对索引增删改操作的算法。

 

小弟在网上找解决方案的时候，看到一个csdn的blog（yfw418的专栏），附上链接：

http://blog.csdn.net/yfw418/archive/2007/07/08/1682913.aspx

就有一个简单的算法来实现这个增删改功能，使用的全是lucene自带的函数，当然啦，这个不能跟专门的开源框架相比。

 

因此，小弟不才，写了一下这个算法的实现代码，由于还没上线，所以性能方面的数据还没法提供，但是肯定的是，这个算法的性能是存在问题的，因为每次操作都遍历的所有记录，其算法时间将是O(N*N)。

 

由于项目中是针对数据库中的数据进行索引的，所以添加了个时间字段，是标志该记录的修改或者增加时间的，

还有，针对KEY，使用的是数据库中每条记录的ID标志符，来标志KEY，保证每个索引文档的KEY Field唯一。

 

丑陋的代码如下：

        /// <summary>
        /// 功能描述：用于增量索引
        /// </summary>
        /// <param name="">无参数</param>
        /// <returns>无返回</returns>
        public static void IncreaseIndex()
        {
            System.Console.Out.WriteLine("Increase Index");
            try
            {
                ArrayList deleTerm = new ArrayList();     //存放待删除的Term
                ArrayList addDoc = new ArrayList();       // 存放待添加的文档
                ArrayList DataRow = new ArrayList();     //存放数据库每行记录
                SetSqlReader();
                //Lucene.Net.Index.IndexModifier indexModifier = Lucene.Net.Index.IndexModifier();
                IndexReader indexReader = IndexReader.Open(INDEX_DIR);
                IndexWriter indexWriter = new IndexWriter(INDEX_DIR, new StandardAnalyzer(), false);
                indexWriter.SetUseCompoundFile(false);
                String CurrentTime = System.DateTime.Now.ToString();

                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
                sw.Start();

                //把数据放到ArrayList中，以便数据定位和反复读取
                while (reader.Read())
                {
                    ArrayList DataField = new ArrayList();    //存放每行记录中的各个字段数据
                    DataField.Add(reader["CName"].ToString());
                    DataField.Add(reader["Age"].ToString());
                    DataField.Add(reader["Date"].ToString());
                    DataField.Add(reader["ID"].ToString());

                    DataRow.Add(DataField);
                }

 

                 //算法需要改进，用顺序遍历会很费时间
                //遍历数据库，判断数据库中记录是否已经全部索引
                int rows = 0;
                while (rows < DataRow.Count)
                {
                    //如果数据库中有记录没有索引，则把该记录添加到待索引队列中；
                    if (!IsInIndex(((ArrayList)DataRow[rows])[3].ToString(), indexReader))
                    {
                        System.Console.Out.WriteLine("增加索引");
                        //把新增的文档添加到待索引队列中
                        Document newDoc = new Document();
                        newDoc.Add(new Field("CName", ((ArrayList)DataRow[rows])[0].ToString(), Field.Store.YES, Field.Index.TOKENIZED));
                        newDoc.Add(new Field("Age", ((ArrayList)DataRow[rows])[1].ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                        newDoc.Add(new Field("Date", ((ArrayList)DataRow[rows])[2].ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                        newDoc.Add(new Field("Key", ((ArrayList)DataRow[rows])[3].ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                        addDoc.Add(newDoc);

                        System.Console.Out.WriteLine("要增加的索引：" + ((ArrayList)DataRow[rows])[0].ToString() + "," + ((ArrayList)DataRow[rows])[1].ToString()
                                                           + "," + ((ArrayList)DataRow[rows])[2].ToString() + "," + ((ArrayList)DataRow[rows])[3].ToString() );
                    }

                    rows++;
                }

                //算法需要改进，用顺序遍历会很费时间
                //判断数据库中的记录是否修改，删除
                for (int i = 0; i < indexReader.NumDocs(); i++)
                {
                    Document doc = indexReader.Document(i);
                    String docKey = doc.Get("Key").ToString();
                    int position = -1;                          //标志数据删除或者修改的位置
                    //如果某个已经索引的文档，没在数据库中找到相应的Key，则删除
                    if (-1 >= (position = IsInDatabase(docKey, DataRow)))
                    {
                        //把原索引添加到待删除队列中
                        deleTerm.Add(new Term("Key", docKey));
                        System.Console.Out.WriteLine("数据库已经删除的数据，同时删除它的索引Key是：" + docKey);
                    }
                    else if (0 <= position)//修改
                    {
                        String docDate = doc.Get("Date").ToString();

                        //如果索引中文档的修改时间和数据库不一致，则修改索引
                        if (!docDate.Equals(((ArrayList)DataRow[position])[2]))
                        {
                            System.Console.Out.WriteLine("修改索引");
                            //把原索引添加到待删除队列中
                            deleTerm.Add(new Term("Key", docKey));

                            //把修改的文档添加到待索引队列
                            Document newDoc = new Document();
                            newDoc.Add(new Field("CName", ((ArrayList)DataRow[position])[0].ToString(), Field.Store.YES, Field.Index.TOKENIZED));
                            newDoc.Add(new Field("Age", ((ArrayList)DataRow[position])[1].ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                            newDoc.Add(new Field("Date", ((ArrayList)DataRow[position])[2].ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                            newDoc.Add(new Field("Key", ((ArrayList)DataRow[position])[3].ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                            addDoc.Add(newDoc);

                            System.Console.Out.WriteLine("要修改的索引：" + ((ArrayList)DataRow[position])[0].ToString() + "," + ((ArrayList)DataRow[position])[1].ToString()
                                                           + "," + ((ArrayList)DataRow[position])[2].ToString() + "," + ((ArrayList)DataRow[position])[3].ToString() );
                        }
                        else
                        {
                            //什么都不做
                        }
                    }
                    else
                    {
                        //什么都不做
                    }
                }

                //进行删除操作
                if (deleTerm != null)
                {
                    for (int i = 0; i < deleTerm.Count; i++)
                    {
                        Lucene.Net.Index.Term term = (Term)deleTerm[i];
                        indexReader.DeleteDocuments(term);
                    }
                }
                indexReader.Close();

               
                //进行添加操作
                if (addDoc != null)
                {
                    for (int i = 0; i < addDoc.Count; i++)
                    {
                        Document doc = (Document)addDoc[i];
                        indexWriter.AddDocument(doc);
                    }
                }
                indexWriter.Optimize();
                indexWriter.Close();
                sw.Stop();
                System.Console.Out.WriteLine(" 增量索引时间是：" + sw.ElapsedMilliseconds.ToString() + "毫秒");
            }

            catch (Exception exp)
            {
                System.Console.WriteLine("增量索引错误" + exp.Message);
                System.Console.ReadLine();
            }
            finally
            {
                reader.Close();
                connection.Close();
            }
        }

       

        /// <summary>
        /// 功能描述：判断目前某个索引文档在数据库中是否存在
        /// </summary>
        /// <param name="p_strdocKey">要比较文档的Key值</param>
        /// <param name="p_DataRow">ArrayList对象，存储了SqlDataReader读出来的数据</param>
        /// <returns>返回该索引在数据库中的记录位置，负数表示不存在</returns>
        public static int IsInDatabase(String p_strdocKey, ArrayList p_DataRow)
        {
            int position = 0;
            while (position < p_DataRow.Count)
            {
                if (p_strdocKey.Equals(((ArrayList)p_DataRow[position])[5].ToString()))
                {
                    return position;
                }
                position++;
            }
            return -1;
        }

        /// <summary>
        /// 功能描述：判断数据库中的某条数据是否已经索引了
        /// </summary>
        /// <param name="p_strDataKey">数据库记录的Key字段值</param>
        /// <param name="p_indexReader">IndexReader的对象</param>
        /// <returns>true表示存在， false表示不存在</returns>
        public static bool IsInIndex(String p_strDataKey, IndexReader p_indexReader)
        {
            for (int i = 0; i < p_indexReader.NumDocs(); i++)
            {
                Document doc = p_indexReader.Document(i);
                if (p_strDataKey.Equals(doc.Get("Key")))
                {
                    return true;
                }
            }
            return false;
        }