Lucene之索引的增删改查-yellowcong

最新推荐文章于 2021-05-19 14:01:01 发布
最新推荐文章于 2021-05-19 14:01:01 发布
阅读量449 收藏
点赞数
分类专栏： 搜索引擎 文章标签： lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yelllowcong/article/details/78696848
版权

在Lucene中，索引被删除后，会在回收站的地方，不会立即清除，而且还有一点，获取删除条数，这个方法只能查出通过精确条件删除的数据，如果是IndexWriter.deleteAll方法删除的数据，是不进回收站这个地方的

案例代码

特别注意，在JVM中，写索引的地方，只能有一个，但是读取的地方可以有多个，但是每次索引IndexWriter写后，都关闭了连接，需要判断FSDirectory 是否被占用，来确定IndexWriter是否关闭

package com.yellowcong.demo;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.Random;
import java.util.UUID;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.IntField;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.NumericRangeQuery;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

/**
 * 创建用户:狂飙的yellowcong<br/>
 * 创建时间:下午5:27:50<br/>
 * 创建日期:2017年12月2日<br/>
 * 机能概要:
 */
public class Demo3 {
    private static List<Passage> psgList = null;

    // 写对象
    private static IndexWriter writer = null;

    public static void main(String[] args) throws Exception {

        //删除 所有索引
        deleteAll();

        //建立索引
        index();

        //精确查找索引
        search("id",1);

        //清空回收站
        //fourceDelete();

        //精确删除 数据
        delByTerm("id",1);
        search("id",1); //确认id为1 的这一条数据是否存在

        //更新索引
        updateRecord();
        search("id",666);

    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:52:37<br/>
     * 机能概要:获取索引信息库
     */
    public static void getInfo(){
        IndexReader reader =  null;
        try {
            reader = getIndexReader();

            System.out.println("回收站的文章数\t"+reader.numDeletedDocs());
            System.out.println("文档总数（包含删除的文章）"+reader.maxDoc());
            System.out.println("文章数\t"+reader.numDocs());
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            closerReader(reader);
        }
    }
    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:43:02<br/>
     * 机能概要:更新索引
     */
    public static void updateRecord(){
        IndexWriter writer  = null;
        try {
            // 获取IndexWriter
            writer = getIndexWriter();


            Document doc = new Document();

            // IntField 不能直接检索到，需要结合
            doc.add(new IntField("id",666, Field.Store.YES));

            // 用户String类型的字段的存储，StringField是只索引不分词
            doc.add(new TextField("username", "黄聪", Field.Store.YES));

            // 主要对int类型的字段进行存储，需要注意的是如果需要对InfField进行排序使用SortField.Type.INT来比较，如果进范围查询或过滤，需要采用NumericRangeQuery.newIntRange()
            doc.add(new IntField("age", 25, Field.Store.YES));

            // 对String类型的字段进行存储，TextField和StringField的不同是TextField既索引又分词
            doc.add(new TextField("content", "文章内容", Field.Store.NO));

            doc.add(new StringField("keyword","逗比", Field.Store.YES));

            doc.add(new StringField("email","yellowcong@aliyun.com", Field.Store.YES));

            //更细索引
            writer.updateDocument(new Term("id", "666"), doc);

            //提交数据
            writer.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            coloseWriter(writer);
        }
    }

    static {
        psgList = new ArrayList<Passage>();

        // 产生一堆数据
        for (int i = 1; i < 200; i++) {
            psgList.add(new Passage(i, "yellowcong" + UUID.randomUUID().toString().substring(0, i % 5),
                    "717350389@qq.com", "逗比", 23 + new Random().nextInt(i), "三炮",new Date()));
        }
    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午5:37:22<br/>
     * 机能概要:获取索引目录
     * 
     * @return 目录
     */
    private static String getIndexPath() {
        // 获取索引的目录
        String path = Demo3.class.getClassLoader().getResource("index").getPath();

        // 不存在就创建目录
        File file = new File(path);
        if (!file.exists()) {
            file.mkdirs();
        }
        return path;
    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午5:43:57<br/>
     * 机能概要:获取IndexWriter 同一时间 ，只能打开一个 IndexWriter，独占写锁 。内建线程安全机制。
     * 
     * @return
     * @throws Exception
     */
    @SuppressWarnings("static-access")
    public static IndexWriter getIndexWriter() throws Exception {
        // 创建IdnexWriter
        String path = getIndexPath();
        FSDirectory fs = FSDirectory.open(new File(path));
        //判断资源是否占用
        if (writer == null || !writer.isLocked(fs)) {
            synchronized (Demo3.class) {
                if (writer == null || !writer.isLocked(fs)) {
                    // 创建writer对象
                    writer = new IndexWriter(fs,
                            new IndexWriterConfig(Version.LUCENE_45, new StandardAnalyzer(Version.LUCENE_45)));
                }
            }
        }
        return writer;
    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午5:46:36<br/>
     * 机能概要:获取到IndexReader 任意多个IndexReaders可同时打开，可以跨JVM。
     * 
     * @return
     * @throws Exception
     */
    public static IndexReader getIndexReader() throws Exception {
        // 创建IdnexWriter
        String path = getIndexPath();
        FSDirectory fs = FSDirectory.open(new File(path));
        // 获取到读
        return IndexReader.open(fs);
    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:28:44<br/>
     * 机能概要:清空回收站的数据
     */
    public static void fourceDelete(){
        IndexWriter writer  = null;
        try {
            // 获取IndexWriter
            writer = getIndexWriter();

            //清空回收站
            writer.forceMergeDeletes();

            //提交事物
            writer.commit();

        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            coloseWriter(writer);
        }
    }
    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午7:57:04<br/>
     * 机能概要:删除所有的索引
     */
    public static void deleteAll(){
        IndexWriter writer  = null;
        try {
            // 获取IndexWriter
            writer = getIndexWriter();

            // 删除所有的数据
            writer.deleteAll();

            int cnt = writer.numDocs();
            System.out.println("索引条数\t" + cnt);

            //提交事物
            writer.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            coloseWriter(writer);
        }
    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:24:16<br/>
     * 机能概要:关闭IndexWriter
     */
    private static void coloseWriter(IndexWriter writer){
        try {
            if(writer != null){
                writer.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:10:01<br/>
     * 机能概要: 删除数据
     * @param key 查询范围
     * @param val 值
     */
    public static void delByTerm(String key,Object val) {
        IndexWriter writer =  null;
        try {
            writer =getIndexWriter();

            //精确查询
            Query query = null;

            //定义查询条件
            if(val instanceof  Integer){
                //后面的两个true 表示的是 是否包含 上下的数据
                query =  NumericRangeQuery.newIntRange(key, Integer.parseInt(val.toString()), Integer.parseInt(val.toString()), true, true);
            }else{
                query = new TermQuery(new Term(key, val.toString()));
            }

            //删除某一条数据
            writer.deleteDocuments(query);

            //提交请求
            writer.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            coloseWriter(writer);
        }
    }
    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:26:15<br/>
     * 机能概要:关闭IndexReader
     * @param reader
     */
    public static void closerReader(IndexReader reader){
        try {
            if(reader != null){
                reader.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午8:10:01<br/>
     * 机能概要: 查询数据
     * @param key 查询范围
     * @param val 值
     */
    public static void search(String key,Object val) {
        IndexReader reader =  null;
        try {
            reader = getIndexReader();

            IndexSearcher searcher = new IndexSearcher(reader);

            //精确查询
            Query query = null;

            //定义查询条件
            if(val instanceof  Integer){
                //后面的两个true 表示的是 是否包含 上下的数据
                query =  NumericRangeQuery.newIntRange(key, Integer.parseInt(val.toString()), Integer.parseInt(val.toString()), true, true);
            }else{
                query = new TermQuery(new Term(key, val.toString()));
            }
            //QueryParser paraser = new QueryParser(Version.LUCENE_45, key, new StandardAnalyzer(Version.LUCENE_45));
            //Query query = paraser.parse(val);

            // 获取查询到的Docuemnt
            TopDocs topDocs = searcher.search(query, 500);
            //总共命中的条数
            System.out.println(topDocs.totalHits);
            for (ScoreDoc score : topDocs.scoreDocs) {
                //
                Document doc = searcher.doc(score.doc);

                //查询到的结果
                String username = doc.get("username");
                System.out.println(username);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            closerReader(reader);
        }
    }

    /**
     * 创建用户:狂飙的yellowcong<br/>
     * 创建日期:2017年12月2日<br/>
     * 创建时间:下午6:03:33<br/>
     * 机能概要:建立索引
     */
    public static void index() {
        IndexWriter writer  = null;
        try {
            // 1、获取IndexWriter
            writer = getIndexWriter();

            // 2、建立索引
            for (Passage psg : psgList) {
                Document doc = new Document();

                // IntField 不能直接检索到，需要结合
                doc.add(new IntField("id", psg.getId(), Field.Store.YES));

                // 用户String类型的字段的存储，StringField是只索引不分词
                doc.add(new TextField("username", psg.getUsername(), Field.Store.YES));

                // 主要对int类型的字段进行存储，需要注意的是如果需要对InfField进行排序使用SortField.Type.INT来比较，如果进范围查询或过滤，需要采用NumericRangeQuery.newIntRange()
                doc.add(new IntField("age", psg.getAge(), Field.Store.YES));

                // 对String类型的字段进行存储，TextField和StringField的不同是TextField既索引又分词
                doc.add(new TextField("content", psg.getContent(), Field.Store.NO));

                doc.add(new StringField("keyword", psg.getKeyword(), Field.Store.YES));

                doc.add(new StringField("email", psg.getEmail(), Field.Store.YES));

                //日期数据添加索引
                doc.add(new LongField("addDate", psg.getAddDate().getTime(), Field.Store.YES));

                // 3、添加文档
                writer.addDocument(doc);
            }

            // 索引条数
            int cnt = writer.numDocs();
            System.out.println("索引条数\t" + cnt);

            //提交事物
            writer.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }finally{
            coloseWriter(writer);
        }
    }

    static class Passage {
        private int id;
        private String username;
        private String email;
        private String keyword;
        private int age;
        // 这个模拟的是文章
        private String content;
        private Date addDate;

        public Passage(int id, String username, String email, String keyword, int age, String content, Date addDate) {
            super();
            this.id = id;
            this.username = username;
            this.email = email;
            this.keyword = keyword;
            this.age = age;
            this.content = content;
            this.addDate = addDate;
        }

        public int getId() {
            return id;
        }

        public void setId(int id) {
            this.id = id;
        }

        public String getUsername() {
            return username;
        }

        public void setUsername(String username) {
            this.username = username;
        }

        public String getEmail() {
            return email;
        }

        public void setEmail(String email) {
            this.email = email;
        }

        public String getKeyword() {
            return keyword;
        }

        public void setKeyword(String keyword) {
            this.keyword = keyword;
        }

        public int getAge() {
            return age;
        }

        public void setAge(int age) {
            this.age = age;
        }

        public String getContent() {
            return content;
        }

        public void setContent(String content) {
            this.content = content;
        }

        public Date getAddDate() {
            return addDate;
        }

        public void setAddDate(Date addDate) {
            this.addDate = addDate;
        }
    }
}

参考文章：
http://blog.csdn.net/wuyinggui10000/article/details/45538155

狂飙的yellowcong
关注
专栏目录
lucene的增删查改
qq_43542074的博客
12-12 405
package com.xxx.lucene; import static org.junit.Assert.*; import java.io.File; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.ap...
Lucene.net增删改查示例，使用多索引和盘古分词等方法，并实现分页查询
10-21
这是一个Lucene.net的多索引示例，以数据库的动态数据为数据源，每个表对应一个索引，使用了盘古分词方法，适用于中文的分词，并且实现了增删改查的所有功能。 同时，在查询索引时，适用了分页方法，可直接引用到...
Lucene4.10使用教程(三)：lucene的增删改查
七夜之家
01-14 6899
万丈高楼平地起，在看完helloLucene的demo后，我们可以看下Lucene的增删改查，下面是详细代码。 其中：Store.YES表示将索引并且存储，Store.NO表示索引但不存储 在Lucene中使用评分来确定文档的重要度和优先级。评分越高，表示文档优先级越高，进行排序显示的时候显示的位置越靠前。在Lucene4.10中，无法对整个文档进行评分，不过可以通过对文档中各个Field的评
lucene的增删改查
种花家的博客
09-03 520
1、建立一个Article简单java类public class Article { public int getId() { return id; } public void setId(int id) { this.id = id; } public String getTitle() { return titl
Lucene实例（增删改查）
kyrin(云中鹤)
11-18 1908
前面两篇博文已经介绍过了Lucene，大家也对Lucene有了初步了解，我呢，在这里给出我项目中的一些实际的例子，这些例子中包含了 对索引的增删改查操作，还包括关键字高亮~~~ 当然这些例子建立在Lucene3.0的基础之上，是对txt文件创建的索引 好的以下是代码~~   创建索引类：   import java.io.File; import java.io.FileRead
lucene索引的增删改查/lucene索引维护
ckinghan58 学习工作分享空间
10-07 1923
lucene供了完整的查询引擎和索引引擎,像商城之类的很多网站都会使用，包括大数据也在使用类似的工具，所以很有必要了解决一下，文章 主要是测试了lucene的索引创建、删除、更新及queryParser查询索引的方式。创建lucene数据库，并创建book表，SQL语句内容如下：USE `lucene`;DROP TABLE IF EXISTS `book`;CREATE TABLE `book`
lucene增删改查小demo
12-08
这个“lucene增删改查小demo”涵盖了 Lucene 搜索库的基础操作，通过 IndexWriter 进行索引管理，使用 QueryParser 构建查询，IndexSearcher 执行查询，并通过 Document 实现数据的读写。掌握这些基本操作后，你可以...
Lucene3.0增删改查和关键字高亮实例
11-18
在这个“Lucene3.0增删改查和关键字高亮实例”项目中，我们将深入理解如何利用Lucene 3.0版本进行索引构建、文档的增删改查操作，并学习关键字高亮显示的实现方法。 首先，我们要了解**创建索引**的基本流程。在...
lucene 7索引查看工具 -luke-7.2.0-luke-release.zip
01-18
Luke是一个方便的索引查看和诊断工具，可以访问Lucene构建的索引文件，显示和修改某些索引内容。luke 7.2.0 支持最新的 lucene7 索引查看 github地址：https://github.com/DmitryKey/luke/releases
lucene5.3.1增删改查
04-07
**Lucene 5.3.1 增删改查详解** Lucene 是一个高性能、全文本搜索引擎库，由 Apache 软件基金会开发。它提供了丰富的搜索功能，包括分词、评分、高亮显示等，是Java平台上的首选文本搜索解决方案。在Lucene 5.3.1...
Lucene之删除索引
08-30
Lucene之删除索引 Lucene之删除索引 Lucene之删除索引 http://blog.csdn.net/nupt123456789/article/details/10666105
Lucene4.3开发之增删改查例子
云守护的专栏
12-01 2106
package com.jiepu.lucene_49; import java.util.HashMap; public interface LuceneDao { void add(String indexWriterPath); void delete(String indexPath, String id); void updateByID(String indexPath
lucene(索引的查询)
有一种信仰叫海阔天空
04-15 1761
lucene(索引的查询) lucene查询的核心类： IndexSearcher、Term、Query、TermQuery、TopDocs、ScoreDoc 搜索功能的简单实现 创建IndexReader // 此处是创建索引存放的地址 Directory driectory = FSDirectory.open(new File("D:/lucene/files2")); I
Lucene：怎样判断一个文件是否已经被创建了索引
Rok
01-02 419
我是刚刚学习Lucene的新手，现在遇到这个问题，在这里请教各位高手，谢谢！
Elasticsearch笔记
weixin_44598449的博客
05-19 587
参考B站视频 Lucene Lucene是Apache提供的一个全文搜索核心工具包(无法直接使用)，Elasticsearch与Solr是对其封装 Elasticsearch优点 除了进行文本搜索，还可以用于处理分析查询 支持分布式索引，具有良好的可伸缩性 提供更多的关键指标 端口 9300集群通信端口，9200为浏览器访问端口(通过URL进行数据操作也是该接口) 与数据库对应 普通查询通过id查询内容，使用正排索引，而Elasticsearch要做全文索引使用正排索引效率太低，使用倒排索引（根据关键字查
如何快捷的判断一批索引中不存在的或 close 的索引
很多时候，你缺少的不是知识而是热情
08-12 3495
Elasticsearch查询多个索引时，如果其中某个索引不存在或closed，则该查询直接返回 ”404 索引丢失“ 错误如：GET /ocslog-2016.08.03,ocslog-2016.08.04,ocslog-2016.08.05,ocslog-2016.08.06/_search假如：ocslog-2016.08.03不存在，则将直接返回：{ "error": "IndexM
lucene索引文件检测CheckIndex
jayson1001的博客
10-13 2584
lucene索引文件有可能由于各种原因导致损坏，所以对索引文件定期进行检测和备份是很有必要的，不然等问题真的暴露出来后往往不好解决。 lucene提供了检测索引文件的工具类：CheckIndex 在控制台可以使用如下命令得到检测结果： C:\Users\Administrator>java -cp f://lucene-core-6.6.0.jar -ea:org.apache.lucene
索引库操作详解：增删改查与数据库导入
在本章节中，我们将深入探讨索引库在数据库管理中的关键操作，包括增删改查。首先，索引库的维护是至关重要的，它涉及文档的添加和删除。添加文档时，需要确保指定正确的DocumentType（例如XML），并在操作后记得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

狂飙的yellowcong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值