lucene-索引删除和更新

最新推荐文章于 2021-09-05 20:29:03 发布
最新推荐文章于 2021-09-05 20:29:03 发布
阅读量911 收藏 1
点赞数
分类专栏： 搜索引擎技术-Lucene
  1.  索引删除和更新
    索引建立好了之后，还是需要维护的，比如新增，删除和维护。 新增就是建立索引的过程，这里就不表了，本教材主要讲索引的删除和更新。
    索引里的数据，其实就是一个一个的Document 对象，那么本文就是介绍如何删除和更新这些Documen对象。
  2. 先说没有删除前的情形
    直接使用14万条数据 里的代码，不过使用不一样的查询语句。
    如图所示，通过关键字 “鞭" 可以查询到一条id是51173的数据。 

    public class TestLucene {
 
    public static void main(String[] args) throws Exception {
        // 1. 准备中文分词器
        IKAnalyzer analyzer = new IKAnalyzer();
        // 2. 索引
        Directory index = createIndex(analyzer);
 
        // 3. 查询器
         
        Scanner s = new Scanner(System.in);
         
        while(true){
            System.out.print("请输入查询关键字：");
            String keyword = s.nextLine();
            System.out.println("当前关键字是："+keyword);
            Query query = new QueryParser( "name", analyzer).parse(keyword);
 
            // 4. 搜索
            IndexReader reader = DirectoryReader.open(index);
            IndexSearcher searcher=new IndexSearcher(reader);
            int numberPerPage = 10;
            ScoreDoc[] hits = searcher.search(query, numberPerPage).scoreDocs;
             
            // 5. 显示查询结果
            showSearchResults(searcher, hits,query,analyzer);
            // 6. 关闭查询
            reader.close();
        }
         
    }
 
    private static void showSearchResults(IndexSearcher searcher, ScoreDoc[] hits, Query query, IKAnalyzer analyzer) throws Exception {
        System.out.println("找到 " + hits.length + " 个命中.");
 
        SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<span style='color:red'>", "</span>");
        Highlighter highlighter = new Highlighter(simpleHTMLFormatter, new QueryScorer(query));
 
        System.out.println("找到 " + hits.length + " 个命中.");
        System.out.println("序号\t匹配度得分\t结果");
        for (int i = 0; i < hits.length; ++i) {
            ScoreDoc scoreDoc= hits[i];
            int docId = scoreDoc.doc;
            Document d = searcher.doc(docId);
            List<IndexableField> fields= d.getFields();
            System.out.print((i + 1) );
            System.out.print("\t" + scoreDoc.score);
            for (IndexableField f : fields) {
 
                if("name".equals(f.name())){
                    TokenStream tokenStream = analyzer.tokenStream(f.name(), new StringReader(d.get(f.name())));
                    String fieldContent = highlighter.getBestFragment(tokenStream, d.get(f.name()));
                    System.out.print("\t"+fieldContent);
                }
                else{
                    System.out.print("\t"+d.get(f.name()));
                }
            }
            System.out.println("<br>");
        }
    }
 
    private static Directory createIndex(IKAnalyzer analyzer) throws IOException {
        Directory index = new RAMDirectory();
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        IndexWriter writer = new IndexWriter(index, config);
        String fileName = "140k_products.txt";
        List<Product> products = ProductUtil.file2list(fileName);
        int total = products.size();
        int count = 0;
        int per = 0;
        int oldPer =0;
        for (Product p : products) {
            addDoc(writer, p);
            count++;
            per = count*100/total;
            if(per!=oldPer){
                oldPer = per;
                System.out.printf("索引中，总共要添加 %d 条记录，当前添加进度是： %d%% %n",total,per);
            }
             
        }
        writer.close();
        return index;
    }
 
    private static void addDoc(IndexWriter w, Product p) throws IOException {
        Document doc = new Document();
        doc.add(new TextField("id", String.valueOf(p.getId()), Field.Store.YES));
        doc.add(new TextField("name", p.getName(), Field.Store.YES));
        doc.add(new TextField("category", p.getCategory(), Field.Store.YES));
        doc.add(new TextField("price", String.valueOf(p.getPrice()), Field.Store.YES));
        doc.add(new TextField("place", p.getPlace(), Field.Store.YES));
        doc.add(new TextField("code", p.getCode(), Field.Store.YES));
        w.addDocument(doc);
    }
}
  3.  删除索引
    删除id=51173的Document之后，如图所示，再搜索鞭字，就查询不到结果了。
    删除关键代码如下，通过 Term对象删除
            //删除id=51173的数据
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        IndexWriter indexWriter = new IndexWriter(index, config);
        indexWriter.deleteDocuments(new Term("id", "51173"));
        indexWriter.commit();
        indexWriter.close();
    public class TestLucene {
 
    public static void main(String[] args) throws Exception {
        // 1. 准备中文分词器
        IKAnalyzer analyzer = new IKAnalyzer();
        // 2. 索引
        Directory index = createIndex(analyzer);
 
        // 3. 查询器
         
        Scanner s = new Scanner(System.in);
         
        //删除id=51173的数据
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        IndexWriter indexWriter = new IndexWriter(index, config);
        indexWriter.deleteDocuments(new Term("id", "51173"));
        indexWriter.commit();
        indexWriter.close();
         
        while(true){
            System.out.print("请输入查询关键字：");
            String keyword = s.nextLine();
            System.out.println("当前关键字是："+keyword);
            Query query = new QueryParser( "name", analyzer).parse(keyword);
 
            // 4. 搜索
            IndexReader reader = DirectoryReader.open(index);
            IndexSearcher searcher=new IndexSearcher(reader);
            int numberPerPage = 10;
            ScoreDoc[] hits = searcher.search(query, numberPerPage).scoreDocs;
             
            // 5. 显示查询结果
            showSearchResults(searcher, hits,query,analyzer);
            // 6. 关闭查询
            reader.close();
        }
         
    }
 
    private static void showSearchResults(IndexSearcher searcher, ScoreDoc[] hits, Query query, IKAnalyzer analyzer) throws Exception {
        System.out.println("找到 " + hits.length + " 个命中.");
 
        SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<span style='color:red'>", "</span>");
        Highlighter highlighter = new Highlighter(simpleHTMLFormatter, new QueryScorer(query));
 
        System.out.println("找到 " + hits.length + " 个命中.");
        System.out.println("序号\t匹配度得分\t结果");
        for (int i = 0; i < hits.length; ++i) {
            ScoreDoc scoreDoc= hits[i];
            int docId = scoreDoc.doc;
            Document d = searcher.doc(docId);
            List<IndexableField> fields= d.getFields();
            System.out.print((i + 1) );
            System.out.print("\t" + scoreDoc.score);
            for (IndexableField f : fields) {
 
                if("name".equals(f.name())){
                    TokenStream tokenStream = analyzer.tokenStream(f.name(), new StringReader(d.get(f.name())));
                    String fieldContent = highlighter.getBestFragment(tokenStream, d.get(f.name()));
                    System.out.print("\t"+fieldContent);
                }
                else{
                    System.out.print("\t"+d.get(f.name()));
                }
            }
            System.out.println("<br>");
        }
    }
 
    private static Directory createIndex(IKAnalyzer analyzer) throws IOException {
        Directory index = new RAMDirectory();
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        IndexWriter writer = new IndexWriter(index, config);
        String fileName = "140k_products.txt";
        List<Product> products = ProductUtil.file2list(fileName);
        int total = products.size();
        int count = 0;
        int per = 0;
        int oldPer =0;
        for (Product p : products) {
            addDoc(writer, p);
            count++;
            per = count*100/total;
            if(per!=oldPer){
                oldPer = per;
                System.out.printf("索引中，总共要添加 %d 条记录，当前添加进度是： %d%% %n",total,per);
            }
             
        }
        writer.close();
        return index;
    }
 
    private static void addDoc(IndexWriter w, Product p) throws IOException {
        Document doc = new Document();
        doc.add(new TextField("id", String.valueOf(p.getId()), Field.Store.YES));
        doc.add(new TextField("name", p.getName(), Field.Store.YES));
        doc.add(new TextField("category", p.getCategory(), Field.Store.YES));
        doc.add(new TextField("price", String.valueOf(p.getPrice()), Field.Store.YES));
        doc.add(new TextField("place", p.getPlace(), Field.Store.YES));
        doc.add(new TextField("code", p.getCode(), Field.Store.YES));
        w.addDocument(doc);
    }
}
  4.  更多删除
    还可以按照如下方法来删除索引，API 很明显，就不做代码示例了
        DeleteDocuments(Query query):根据Query条件来删除单个或多个Document
    DeleteDocuments(Query[] queries):根据Query条件来删除单个或多个Document
    DeleteDocuments(Term term):根据Term来删除单个或多个Document
    DeleteDocuments(Term[] terms):根据Term来删除单个或多个Document
    DeleteAll():删除所有的Document
  5.  更新索引
    如图所示，更新索引后，再用鞭查询，得到的结果是查出了更新之后的数据。 更新的关键代码：
    // 更新索引
IndexWriterConfig config = new IndexWriterConfig(analyzer);
IndexWriter indexWriter = new IndexWriter(index, config);
Document doc = new Document();
doc.add(new TextField("id", "51173", Field.Store.YES));
doc.add(new TextField("name", "神鞭，鞭没了，神还在", Field.Store.YES));
doc.add(new TextField("category", "道具", Field.Store.YES));
doc.add(new TextField("price", "998", Field.Store.YES));
doc.add(new TextField("place", "南海群岛", Field.Store.YES));
doc.add(new TextField("code", "888888", Field.Store.YES));
indexWriter.updateDocument(new Term("id", "51173"), doc );
indexWriter.commit();
indexWriter.close();

    public class TestLucene {
 
    public static void main(String[] args) throws Exception {
        // 1. 准备中文分词器
        IKAnalyzer analyzer = new IKAnalyzer();
        // 2. 索引
        Directory index = createIndex(analyzer);
 
        // 3. 查询器
         
        // 更新索引
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        IndexWriter indexWriter = new IndexWriter(index, config);
        Document doc = new Document();
        doc.add(new TextField("id", "51173", Field.Store.YES));
        doc.add(new TextField("name", "神鞭，鞭没了，神还在", Field.Store.YES));
        doc.add(new TextField("category", "道具", Field.Store.YES));
        doc.add(new TextField("price", "998", Field.Store.YES));
        doc.add(new TextField("place", "南海群岛", Field.Store.YES));
        doc.add(new TextField("code", "888888", Field.Store.YES));
         
        indexWriter.updateDocument(new Term("id", "51173"), doc );
        indexWriter.commit();
        indexWriter.close();
         
        Scanner s = new Scanner(System.in);
        while(true){
            System.out.print("请输入查询关键字：");
            String keyword = s.nextLine();
            System.out.println("当前关键字是："+keyword);
            Query query = new QueryParser( "name", analyzer).parse(keyword);
 
            // 4. 搜索
            IndexReader reader = DirectoryReader.open(index);
            IndexSearcher searcher=new IndexSearcher(reader);
            int numberPerPage = 10;
            ScoreDoc[] hits = searcher.search(query, numberPerPage).scoreDocs;
             
            // 5. 显示查询结果
            showSearchResults(searcher, hits,query,analyzer);
            // 6. 关闭查询
            reader.close();
        }
         
    }
 
    private static void showSearchResults(IndexSearcher searcher, ScoreDoc[] hits, Query query, IKAnalyzer analyzer) throws Exception {
        System.out.println("找到 " + hits.length + " 个命中.");
 
        SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<span style='color:red'>", "</span>");
        Highlighter highlighter = new Highlighter(simpleHTMLFormatter, new QueryScorer(query));
 
        System.out.println("找到 " + hits.length + " 个命中.");
        System.out.println("序号\t匹配度得分\t结果");
        for (int i = 0; i < hits.length; ++i) {
            ScoreDoc scoreDoc= hits[i];
            int docId = scoreDoc.doc;
            Document d = searcher.doc(docId);
            List<IndexableField> fields= d.getFields();
            System.out.print((i + 1) );
            System.out.print("\t" + scoreDoc.score);
            for (IndexableField f : fields) {
 
                if("name".equals(f.name())){
                    TokenStream tokenStream = analyzer.tokenStream(f.name(), new StringReader(d.get(f.name())));
                    String fieldContent = highlighter.getBestFragment(tokenStream, d.get(f.name()));
                    System.out.print("\t"+fieldContent);
                }
                else{
                    System.out.print("\t"+d.get(f.name()));
                }
            }
            System.out.println("<br>");
        }
    }
 
    private static Directory createIndex(IKAnalyzer analyzer) throws IOException {
        Directory index = new RAMDirectory();
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        IndexWriter writer = new IndexWriter(index, config);
        String fileName = "140k_products.txt";
        List<Product> products = ProductUtil.file2list(fileName);
        int total = products.size();
        int count = 0;
        int per = 0;
        int oldPer =0;
        for (Product p : products) {
            addDoc(writer, p);
            count++;
            per = count*100/total;
            if(per!=oldPer){
                oldPer = per;
                System.out.printf("索引中，总共要添加 %d 条记录，当前添加进度是： %d%% %n",total,per);
            }
             
        }
        writer.close();
        return index;
    }
 
    private static void addDoc(IndexWriter w, Product p) throws IOException {
        Document doc = new Document();
        doc.add(new TextField("id", String.valueOf(p.getId()), Field.Store.YES));
        doc.add(new TextField("name", p.getName(), Field.Store.YES));
        doc.add(new TextField("category", p.getCategory(), Field.Store.YES));
        doc.add(new TextField("price", String.valueOf(p.getPrice()), Field.Store.YES));
        doc.add(new TextField("place", p.getPlace(), Field.Store.YES));
        doc.add(new TextField("code", p.getCode(), Field.Store.YES));
        w.addDocument(doc);
    }
}


litengbin
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何更新索引
m0_57021623的博客
12-13 903
需要注意的是，索引并不是万能的，不是所有的查询都能够充分利用索引。在数据库中，更新索引通常是指对现有索引进行修改或重建，以改善查询性能或适应新的数据需求。需要注意的是，在更新索引时应该谨慎操作，因为对索引的增加、删除和重建会影响数据库性能和可用性。在生产环境中，最好在非高峰期进行索引的更新操作，并且要对更新前后的性能进行充分测试和评估。对于范围查询，如果使用了合适的索引，数据库系统可以利用索引的有序性进行快速定位。在连接查询中，如果连接的字段上有索引，数据库可以使用索引来加速连接操作。
IDEA总是自动更新索引怎么解决
weixin_62931447的博客
01-14 6325
搜索index_>修改右边的两个即可,点击OK保存即可。从File进入settings。
lucene(四)：删除和更新索引
buyechengh的博客
09-05 792
public static void deleteIndex() throws Exception{ Directory directory = FSDirectory.open(Paths.get("D:\\Freemarkfiles\\lucene01")); SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer(); IndexWriterConfig conf=new IndexWriterConfi
lucene索引的删除和更新
热门推荐
1.02^365=1377.41
11-07 1万+
Lucene索引的删除和更新删除和更新和新增一样，也是通过IndexWriter 对象来操作的，IndexWrite对象的deleteDocuments ()方法用于实现索引的删除，updateDocument()方法用于实现索引的更新。删除Lucene索引删除索引的代码如下，该示例实现了根据Term来删除单个或多个Document,删除title中包含关键词“美国”的文档：import java.
最新版 lucene-9.3.0.tgz
09-02
6. **更新与删除**：Lucene允许动态地更新和删除索引中的文档，确保信息的实时性。9.3.0可能会对这些操作的效率进行优化。 7. **内存管理**：为了提高性能，Lucene会缓存部分索引数据。9.3.0可能包含改进的内存管理...
lucene-core-2.9.2.jar
08-30
4. 更新与优化：Lucene允许动态更新索引，即添加、删除或修改文档。此外，定期的索引优化（Merge）可以合并多个段，提高搜索效率。 三、lucene-1.4.3.jar.license.txt 这个文件通常包含了关于Apache Lucene早期...
最新版windows lucene-8.10.0.zip
10-02
7. **更新和删除索引**：Lucene支持动态更新索引，当文档内容发生变化时，可以快速地反映到索引中；同样，也可以方便地从索引中删除文档。 8. **多线程支持**：在Windows环境下，Lucene可以利用多核处理器的优势，...
lucene-search-engine：使用Lucene Apache库用于索引和搜索文件的Java应用程序
02-15
5. **索引写入器（IndexWriter）**：用于创建或更新 Lucene 索引，可以添加、删除或修改文档。 6. **查询解析器（Query Parser）**：将用户输入的查询字符串转换为 Lucene 可理解的查询对象。 **搜索机制** 1. **...
最新版linux lucene-8.10.0.tgz
10-02
- **IndexWriter**：用于创建和更新索引，你可以通过它来添加、删除和修改Documents。 - **Searcher**：负责查询执行和结果返回，包括Query解析、评分和排序。 - **Query**：表示用户的搜索请求，可以是简单的...
Lucene Demo(创建、增加、更新、删除索引等)
01-25
Lucene使用的一个Demo，包括索引的创建、增加、更新、删除等
基于lucene技术的增量索引
05-15
基于lucene技术的增量索引，实现索引的首次创建，动态增删改
Lucene 索引
lujianing2011的专栏
03-21 635
Lucene的核心索引类： 1、IndexWriter：建立索引的核心组件。 2、Directory：代表一个lucene索引项的位置。 3、Analyzer：对文本内容进行分析的抽象类，具体实现中有停用词切除 、词干分析、大小写切换等功能。 4、Document：可以视作文本经过处理后所对应的对象，由多个字段组成 ，如路径、标题、摘要、修改日期等等。 5、Field
Lucene教程(四) 索引的更新和删除
三丰的专栏
04-21 8252
这篇文章是基于上一篇文章来写的，使用的是IndexUtil类，下面的例子不在贴出整个类的内容，只贴出具体的方法内容。 3.5版本： 先写了一个check()方法来查看索引文件的变化： /** * 检查一下索引文件 */ public static void check() { IndexReader indexReader = null;
搜索引擎索引之如何更新索引
张俊林的博客
03-21 8115
本文节选自《这就是搜索引擎：核心技术详解》第三章      动态索引通过在内存中维护临时索引，可以实现对动态文档和实时搜索的支持。但是服务器内存总是有限的，随着新加入系统的文档越来越多，临时索引消耗的内存也会随之增加。当最初分配的内存将被使用完时，要考虑将临时索引的内容更新到磁盘索引中，以释放内存空间来容纳后续的新进文档，此时要考虑合理有效的索引更新策略。 常用的索引更新策略有四种：完全重
mysql实现知识图谱_使用Lucene在知识图谱上构建索引
weixin_39560657的博客
12-04 276
这篇文章讲述如何在知识图谱数据集上构建索引进行查询。倒排索引是一种数据结构，它表示了这样一种映射，以字或词或数字为关键字进行索引，映射到出现这个字或词的所有文档或者数据库文件。它大概由三部分组成 term index、term dictionary 和 posting list(倒排表)。索引过程，首要需要找到term(关键词)索引的位置。term index就是用于找到关键词term在term ...
Lucene学习篇之修改/删除索引
qq_15076569的博客
10-12 3218
前言： 本案例所引用的jar以及搜索的文档内容均在https://blog.csdn.net/qq_15076569/article/details/83031572基础之上进行 修改示例： import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apa...
lucene 实现全文检索（三）：删除索引
TanaStudy的博客
04-07 3261
重复生成索引会造成索引重复，indexDelAll()方法可以删除掉索引目录下的所有索引 /** * 删除指定索引库下面的所有 索引数据 * @param indexDir */ public static void indexDelAll(File indexDir) throws IOException { if (indexDir == null || !indexDir.exists() || indexDir.isFile()) {
lucene更新索引
最新发布
11-15
要更新Lucene索引，首先需要获取一个IndexWriter实例，然后通过该实例来执行索引更新操作。 更新索引的过程通常包括以下几个步骤： 1. 创建或获取一个IndexWriter实例：IndexWriter负责索引的写入和更新操作，需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值