- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 从分布式到微服务到Service Mesh
自从几十年前第一次引入分布式系统这个概念以来，出现了很多原来根本想象不到的分布式系统使用案例，但同时也引入了各种各样的新问题。当这些系统还是比较少比较简单的时候，工程师可以通过减少远程交互的次数来解决复杂性问题。处理分布式问题最安全的方法是尽可能避免远程交互，虽然这可能意味着要在多个系统上存放重复的逻辑和数据。行业上的需求推动着我们前进的步伐，分布式系统的组成从几个大型的中央电脑发展成为数...
2018-08-27 15:05:45
363
原创 Lucene 学习总结之七-索引流程
1 IndexReader打开索引文件，读取并打开指向索引文件的流。1.1.1、找到最新的segment_N文件1.1.2、通过segment_N文件中保存的各个段的信息打开各个段1.1.3、得到的IndexReader对象如下 2 将查询语句转换为查询对象Query对象树2.1、创建Weight对象树，计算Term Weight2.2、重写Query对象树2.3、创建Weigh...
2018-08-19 17:59:45
274
转载 Lucene学习总结之六：Lucene打分公式的数学推导
在进行Lucene的搜索过程解析之前，有必要单独的一张把Lucene score公式的推导，各部分的意义阐述一下。因为Lucene的搜索过程，很重要的一个步骤就是逐步的计算各部分的分数。Lucene的打分公式非常复杂，如下：在推导之前，先逐个介绍每部分的意义：t：Term，这里的Term是指包含域信息的Term，也即title:hello和content:hello是不同的Term...
2018-08-19 16:55:38
248
转载 Lucene学习总结之五：Lucene段合并(merge)过程分析
一、段合并过程总论IndexWriter中与段合并有关的成员变量有： HashSet<SegmentInfo> mergingSegments = new HashSet<SegmentInfo>(); //保存正在合并的段，以防止合并期间再次选中被合并。 MergePolicy mergePolicy = new LogByteSizeMergePolicy...
2018-08-19 16:45:21
1601
1
转载 Lucene学习总结之四：Lucene索引过程分析(4)
6、关闭IndexWriter对象代码： writer.close(); --> IndexWriter.closeInternal(boolean) --> (1) 将索引信息由内存写入磁盘: flush(waitForMerges, true, true); --> (2) 进行段合并: mergeSchedule...
2018-08-18 17:08:29
281
转载 Lucene学习总结之四：Lucene索引过程分析(3)
5、DocumentsWriter对CharBlockPool，ByteBlockPool，IntBlockPool的缓存管理在索引的过程中，DocumentsWriter将词信息(term)存储在CharBlockPool中，将文档号(doc ID)，词频(freq)和位置(prox)信息存储在ByteBlockPool中。 在ByteBlockPool中，缓存是分块(slice)分配的，...
2018-08-18 17:07:47
237
转载 Lucene学习总结之四：Lucene索引过程分析(2)
3、将文档加入IndexWriter代码：writer.addDocument(doc); -->IndexWriter.addDocument(Document doc, Analyzer analyzer) -->doFlush = docWriter.addDocument(doc, analyzer); -->...
2018-08-18 17:06:50
189
转载 Lucene学习总结之四：Lucene索引过程分析(1)
对于Lucene的索引过程，除了将词(Term)写入倒排表并最终写入Lucene的索引文件外，还包括分词(Analyzer)和合并段(merge segments)的过程，本次不包括这两部分，将在以后的文章中进行分析。Lucene的索引过程，很多的博客，文章都有介绍，推荐大家上网搜一篇文章：《Annotated Lucene》，好像中文名称叫《Lucene源码剖析》是很不错的。想要真正了解...
2018-08-18 15:53:05
294
转载 Lucene学习总结之三：Lucene的索引文件格式(2)
四、具体格式上面曾经交代过，Lucene保存了从Index到Segment到Document到Field一直到Term的正向信息，也包括了从Term到Document映射的反向信息，还有其他一些Lucene特有的信息。下面对这三种信息一一介绍。4.1. 正向信息Index –> Segments (segments.gen, segments_N) –> Field(fnm...
2018-08-18 15:35:10
197
转载 Lucene学习总结之三：Lucene的索引文件格式(1)
Lucene的索引里面存了些什么，如何存放的，也即Lucene的索引文件格式，是读懂Lucene源代码的一把钥匙。当我们真正进入到Lucene源代码之中的时候，我们会发现:Lucene的索引过程，就是按照全文检索的基本过程，将倒排表写成此文件格式的过程。 Lucene的搜索过程，就是按照此文件格式将索引进去的信息读出来，然后计算每篇文档打分(score)的过程。本文详细解读了Apach...
2018-08-18 14:58:33
170
转载 Lucene学习总结之二：Lucene的总体架构
Lucene总的来说是：一个高效的，可扩展的，全文检索库。 全部用Java实现，无须配置。 仅支持纯文本文件的索引(Indexing)和搜索(Search)。 不负责由其他格式的文件抽取纯文本文件，或从网络中抓取文件的过程。在Lucene in action中，Lucene 的构架和过程如下图，说明Lucene是有索引和搜索的两个过程，包含索引创建，索引，搜索三个要点。让我...
2018-08-18 14:36:52
160
转载 Lucene学习总结之一：全文检索的基本原理
一、总论根据http://lucene.apache.org/java/docs/index.html定义：Lucene是一个高效的，基于Java的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。那么什么叫做全文检索呢？这要从我们生活中的数据说起。我们生活中的数据总体分为两种：结构化数据和非结构化数据。结构化数据：指具有固定格式或有限长度的数据，如数据库...
2018-08-18 14:32:46
182
原创 分布式事物解决方案和实例
分布式事物解决方案分布式事物事物特性(acid)原子性（A）所谓的原子性就是说，在整个事务中的所有操作，要么全部完成，要么全部不做，没有中间状态。对于事务在执行中发生错误，所有的操作都会被回滚，整个事务就像从没被执行过一样。一致性（C）事务的执行必须保证系统的一致性，就拿转账为例，A有500元，B有300元，如果在一个事务里A成功转给B50元，那么不管并发多少，不管发...
2018-08-14 11:55:55
3232
3
原创 java 实现首字母小写
public static String lowerFirstCapse(String str){char[]chars = str.toCharArray();chars[0] += 32;return String.valueOf(chars);}ascii 码表中 a的ASCIII码值是65而A的ASCII码值是 97 两个之间的差值是 32，所以，如果我们需要把...
2018-08-02 20:55:22
3019
storm企业级运维 调优 实战
2018-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人