- 博客(14)
- 资源 (2)
- 收藏
- 关注
转载 从分布式到微服务到Service Mesh
自从几十年前第一次引入分布式系统这个概念以来,出现了很多原来根本想象不到的分布式系统使用案例,但同时也引入了各种各样的新问题。当这些系统还是比较少比较简单的时候,工程师可以通过减少远程交互的次数来解决复杂性问题。处理分布式问题最安全的方法是尽可能避免远程交互,虽然这可能意味着要在多个系统上存放重复的逻辑和数据。行业上的需求推动着我们前进的步伐,分布式系统的组成从几个大型的中央电脑发展成为数...
2018-08-27 15:05:45 363
原创 Lucene 学习总结之七-索引流程
1 IndexReader打开索引文件,读取并打开指向索引文件的流。1.1.1、找到最新的segment_N文件1.1.2、通过segment_N文件中保存的各个段的信息打开各个段1.1.3、得到的IndexReader对象如下 2 将查询语句转换为查询对象Query对象树2.1、创建Weight对象树,计算Term Weight2.2、重写Query对象树2.3、创建Weigh...
2018-08-19 17:59:45 274
转载 Lucene学习总结之六:Lucene打分公式的数学推导
在进行Lucene的搜索过程解析之前,有必要单独的一张把Lucene score公式的推导,各部分的意义阐述一下。因为Lucene的搜索过程,很重要的一个步骤就是逐步的计算各部分的分数。Lucene的打分公式非常复杂,如下:在推导之前,先逐个介绍每部分的意义:t:Term,这里的Term是指包含域信息的Term,也即title:hello和content:hello是不同的Term...
2018-08-19 16:55:38 248
转载 Lucene学习总结之五:Lucene段合并(merge)过程分析
一、段合并过程总论IndexWriter中与段合并有关的成员变量有: HashSet<SegmentInfo> mergingSegments = new HashSet<SegmentInfo>(); //保存正在合并的段,以防止合并期间再次选中被合并。 MergePolicy mergePolicy = new LogByteSizeMergePolicy...
2018-08-19 16:45:21 1601 1
转载 Lucene学习总结之四:Lucene索引过程分析(4)
6、关闭IndexWriter对象代码: writer.close(); --> IndexWriter.closeInternal(boolean) --> (1) 将索引信息由内存写入磁盘: flush(waitForMerges, true, true); --> (2) 进行段合并: mergeSchedule...
2018-08-18 17:08:29 281
转载 Lucene学习总结之四:Lucene索引过程分析(3)
5、DocumentsWriter对CharBlockPool,ByteBlockPool,IntBlockPool的缓存管理在索引的过程中,DocumentsWriter将词信息(term)存储在CharBlockPool中,将文档号(doc ID),词频(freq)和位置(prox)信息存储在ByteBlockPool中。 在ByteBlockPool中,缓存是分块(slice)分配的,...
2018-08-18 17:07:47 237
转载 Lucene学习总结之四:Lucene索引过程分析(2)
3、将文档加入IndexWriter代码:writer.addDocument(doc); -->IndexWriter.addDocument(Document doc, Analyzer analyzer) -->doFlush = docWriter.addDocument(doc, analyzer); -->...
2018-08-18 17:06:50 189
转载 Lucene学习总结之四:Lucene索引过程分析(1)
对于Lucene的索引过程,除了将词(Term)写入倒排表并最终写入Lucene的索引文件外,还包括分词(Analyzer)和合并段(merge segments)的过程,本次不包括这两部分,将在以后的文章中进行分析。Lucene的索引过程,很多的博客,文章都有介绍,推荐大家上网搜一篇文章:《Annotated Lucene》,好像中文名称叫《Lucene源码剖析》是很不错的。想要真正了解...
2018-08-18 15:53:05 294
转载 Lucene学习总结之三:Lucene的索引文件格式(2)
四、具体格式上面曾经交代过,Lucene保存了从Index到Segment到Document到Field一直到Term的正向信息,也包括了从Term到Document映射的反向信息,还有其他一些Lucene特有的信息。下面对这三种信息一一介绍。4.1. 正向信息Index –> Segments (segments.gen, segments_N) –> Field(fnm...
2018-08-18 15:35:10 197
转载 Lucene学习总结之三:Lucene的索引文件格式(1)
Lucene的索引里面存了些什么,如何存放的,也即Lucene的索引文件格式,是读懂Lucene源代码的一把钥匙。当我们真正进入到Lucene源代码之中的时候,我们会发现:Lucene的索引过程,就是按照全文检索的基本过程,将倒排表写成此文件格式的过程。 Lucene的搜索过程,就是按照此文件格式将索引进去的信息读出来,然后计算每篇文档打分(score)的过程。本文详细解读了Apach...
2018-08-18 14:58:33 170
转载 Lucene学习总结之二:Lucene的总体架构
Lucene总的来说是:一个高效的,可扩展的,全文检索库。 全部用Java实现,无须配置。 仅支持纯文本文件的索引(Indexing)和搜索(Search)。 不负责由其他格式的文件抽取纯文本文件,或从网络中抓取文件的过程。在Lucene in action中,Lucene 的构架和过程如下图,说明Lucene是有索引和搜索的两个过程,包含索引创建,索引,搜索三个要点。让我...
2018-08-18 14:36:52 160
转载 Lucene学习总结之一:全文检索的基本原理
一、总论根据http://lucene.apache.org/java/docs/index.html定义:Lucene是一个高效的,基于Java的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。那么什么叫做全文检索呢?这要从我们生活中的数据说起。我们生活中的数据总体分为两种:结构化数据和非结构化数据。结构化数据:指具有固定格式或有限长度的数据,如数据库...
2018-08-18 14:32:46 182
原创 分布式事物解决方案和实例
分布式事物解决方案分布式事物事物特性(acid)原子性(A)所谓的原子性就是说,在整个事务中的所有操作,要么全部完成,要么全部不做,没有中间状态。对于事务在执行中发生错误,所有的操作都会被回滚,整个事务就像从没被执行过一样。一致性(C)事务的执行必须保证系统的一致性,就拿转账为例,A有500元,B有300元,如果在一个事务里A成功转给B50元,那么不管并发多少,不管发...
2018-08-14 11:55:55 3232 3
原创 java 实现首字母小写
public static String lowerFirstCapse(String str){char[]chars = str.toCharArray();chars[0] += 32;return String.valueOf(chars);}ascii 码表中 a的ASCIII码值是65而A的ASCII码值是 97 两个之间的差值是 32,所以,如果我们需要把...
2018-08-02 20:55:22 3019
storm企业级运维 调优 实战
2018-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人