![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
lucene
文章平均质量分 65
hhhhhigh
这个作者很懒,什么都没留下…
展开
-
lucene(13)
2021SC@SDUSC搜索过程(3)Lucene搜索样例:public static void main(String[] args){try { IndexReader reader=DirectoryReader.open(FSDirectory.open(new File("F:\\index"))); IndexSearcher searcher=new IndexSearcher(reader); Analyzer analyzer=new Stan...原创 2021-12-27 08:00:00 · 102 阅读 · 0 评论 -
lucene(12)
2021SC@SDUSC搜索过程(2)从之前分析的过程来看,IndexReader 有以下几个特性:1.段元数据信息已经被读入到内存中,因而索引文件夹中因为新添加文档而新增加的段对已经打开的reader 是不可见的。2..del 文件已经读入内存,因而其他的reader 或者writer 删除的文档对打开的reader 也是不可见的。3.一个IndexReader 打开一个索引,就好像对此索引照了一张像,无论背后索引如何改变,此IndexReader 在被重新打开之前,看到的信息总是相原创 2021-12-18 19:44:28 · 374 阅读 · 0 评论 -
lucene(11)
搜索过程(1)Lucene搜索样例:public static void main(String[] args){try { IndexReader reader=DirectoryReader.open(FSDirectory.open(new File("F:\\index"))); IndexSearcher searcher=new IndexSearcher(reader); Analyzer analyzer=new StandardAnalyzer(Version...原创 2021-12-19 10:00:00 · 188 阅读 · 0 评论 -
lucene(10)
2021SC@SDUSCAttributeSource一个AttributeSource中包含着一个由不同AttributeImpl组成的列表,以及添加和获取它们的一些方法。在同一个AttributeSource实例中每个属性只有一个单实例。AttributeSource通过AttributeFactory来创建AttributeImpl的实例。通过State来标示每个AttributeImpl的状态。private final Map, AttributeImpl> attrib..原创 2021-12-11 10:00:00 · 298 阅读 · 0 评论 -
lucene(9)
2021SC@SDUSCTokenStreamLucene的analysis模块主要负责词法分析及语言处理而形成Term。Lucene的index模块主要负责索引的创建,里面有IndexWriter。Lucene的store模块主要负责索引的读写。Lucene的QueryParser主要负责语法分析。Lucene的search模块主要负责对索引的搜索。Lucene的similarity模块主要负责对相关性打分的实现。通过对文本的分析来建立TokenStreams(分词数.原创 2021-12-04 15:00:00 · 259 阅读 · 0 评论 -
lucene(8)
2021SC@SDUSCLucene中的CloseableThreadLocal类 Java的ThreadLocal类有一个严重的瑕疵那就是即便在ThreadLocal 实例本身不在被引用的情况下,其中存储的东西也需要相当长的时间才能被解除引用。原因是所有的ThreadLocal 实例共享一个map,而该map只会在指定的时间段内清除过期的条目。 CloseableThreadLocal通过接收WeakReference类型的值并且保持对每个存储值一个硬应用,当调用cl...原创 2021-11-28 20:45:07 · 304 阅读 · 0 评论 -
lucene(7)
2021SC@SDUSCDirectory类之内存目录 RAMDirectory:常驻内存的Directory实现方式。默认通过SingleInstanceLockFactory(单实例锁工厂)进行锁的实现。该类不适合大量索引的情况。另外也不适用于多线程的情况。 在索引数据量大的情况下建议使用MMapDirectory代替。RAMDirectory是Directory抽象类在使用内存最为文件存储的实现类,其主要是将所有的索引文件保存到内存中。这样可以提高效率。但是如果索引文件过大的话,...原创 2021-11-21 21:23:11 · 141 阅读 · 0 评论 -
lucene(6)
2021SC@SDUSCDirectory类之文件目录lucene中的文件操作都是通过这Directory来实现的。Directory的实现类可以分为文件目录,内存目录和目录的代理类及工具类。文件目录 SimpleFSDirectory:FSDirectory的简单实现,并发能力有限,遇到多线程读同一个文件时会遇到瓶颈,通常用NIOFSDirectory或MMapDirectory代替 NIOFSDirectory:通过java.nio's FileCha...原创 2021-11-14 20:34:34 · 248 阅读 · 0 评论 -
lucene分析(5)
索引段的合并索引段合并相关类说明:1.MergePolicyMergePolicy决定着合并操作的顺序。当InexWriter变更索引中的段信息时,IndexWirter将会调用该类中的findMerges方法,去获取需要进行合并的段。该方法会返回一个MergeSpecification对象来描述要合并段的集合。当IndexWriter调用forceMerge方法时,将会调用该类中的findForcedMerges方法,来返回要进行合并的段。默认的MergePolicy的实现类是Tiered原创 2021-11-07 21:07:36 · 76 阅读 · 0 评论 -
lucene分析(4)
存储同步机制 Lucene的索引最终存储到磁盘的一个目录结构(Directory)中,在创建Directory的过程中会绑定一个LockFactory。LockFactory管理着其创建的所有Lock。LockFactory中有两个基本的属性lockDir(锁文件的存储目录)和lockPrefix(锁的前缀)。如果lockDir与Directory相同,则lockPrefix为空;如果不同,则会把Direcotry的路径经过一系列的算法转换返回一段字符串作为lockPref...原创 2021-10-31 19:30:59 · 112 阅读 · 0 评论 -
lucene分析(3)
2021SC@SDUSC索引创建过程 文档的索引过程是通过DocumentsWriter的内部数据处理链完成的,DocumentsWriter可以实现同时添加多个文档并将它们写入一个临时的segment中,完成后再由IndexWriter和SegmentMerger合并到统一的segment中去。 DocumentsWriter支持多线程处理,即多个线程同时添加文档,它会为每个请求分配一个DocumentsWriterThreadState对象来监控此处理过程。处理时通...原创 2021-10-24 19:30:27 · 131 阅读 · 0 评论 -
lucene分析(2)
2021SC@SDUSClucene索引结构搜索的基础是索引文件,因此索引结构对于我的研究工作很有帮助。基本概念: 索引 Lucene的索引由许多个文件组成,这些文件放在同一个目录下段 一个Lucene的索引由多个段组成,段与段之间是独立的。添加新的文档时可以生成新的段,达到阈值(段的个数,段中包含的文件数等)时,不同的段可以合并。 在文件夹下,具有相同前缀的文件属于同一个段 segments.gen 和 seg...原创 2021-10-17 21:59:40 · 53 阅读 · 0 评论 -
lucene分析(1)
2021SC@SDUSClucene的使用结构索引过程1) 有一系列被索引文件2) 被索引文件经过语法分析和语言处理形成一系列词(Term)。3) 经过索引创建形成词典和反向索引表。4) 通过索引存储将索引写入硬盘。搜索过程1) 用户输入查询语句。2) 对查询语句经过语法分析和语言分析得到一系列词(Term)。3) 通过语法分析得到一个查询树。4) 通过索引存储将索引读入到内存。5) 利用查询树搜索索引,从而得到每个词(Term)的文档链表,对文档链表进行交,差,...原创 2021-10-10 21:01:24 · 61 阅读 · 0 评论 -
lucene分析综述
2021SC@SDUSC综述项目网站为http://lucene.apache.org/ 我下载的版本为lucene8.9.0。通过阅读readme.txt以及博客上的教程,分析项目,我们认为核心代码位于core文件夹内。故此我们决定对其展开长期研究分析。项目展示及分配我主要负责search和geo文件夹下代码的分析报告工作。当然,需要整体分析才能理解其中一部分功能。对lucene的认识Lucene是一套用于全文检索和搜索的开放源码程序库,由Apache软件基金会支持和提...原创 2021-09-28 19:54:27 · 78 阅读 · 0 评论