淡定一生2333的博客

一、 ES搜索两阶段简介ES的搜索是分2个阶段进行的，即Query阶段和Fetch阶段。Query阶段比较轻量级，通过查询倒排索引，获取满足查询结果的文档ID列表。Fetch阶段比较重，需要将每个shard的结果取回，在协调结点进行全局排序。 通过From+size这种方式分批获取数据的时候，随着from加大，需要全局排序并丢弃的结果数量随之上升，性能越来越差。二、 scroll分析Scroll查询，先做轻量级的Query阶段以后，免去了繁重的全局排序过程。 它只是将查询结果集，也...

今天被人问到了ES相关的问题，没有说上来。ES有段时间没用了，很多细节都忘了，幸好之前有看过一些源码，这里就整理下，写篇博客记录一下。 首先大致说下写索引的大概流程: primary分片是写索引的主入口,由它负责验证输入正确性,并负责将操作复制到其他副本。首先是根据document id, route到primary shard上执行。复制的时候不需要复制完全部的repl...

启动的代码的入口在Elasticsearch.java中的main()(暂时先忽略安全相关的部分)1.注册ErrorListener,用于在启动失败的时候报错2.启动ES命令行客户端EnvironmentAwareCommand和对应用来输入输入Terminal//和命令行相关的操作3.创建一个Setting(HashMap),放入一些ES配置(path.conf...

问题:1.客户端如何连接ES2.请求怎么发过去,是发到哪一个节点上3.创建客户端的时候,为什么要填上集群所有节点的地址? 为了分发用么?从PreBuiltTransportClientTests中的PreBuiltTransportClientTests开始看过去。这个是ES5.0.0之后新增加的一个客户端ES是使用netty来进行通信的,可以将netty理...

参考同目录下的<Intelj IDEA***>那篇文档1.下载JDK(1.8)和gradle(3.5),并配置环境变量2.在C:\Users\***\.gradle目录下放入init.gradle文件3.最后再ES源码的根目录下编译: gradle idea(如果报错,修改报错目录下的build.gradle文件: 只要修改url那个地方即可 buildscript {  reposi...

先给出结论：    ES在执行的时候,不是按照代码书写的顺序来执行的,而是按照API的规则来执行的。即setQuery和addAggregation在代码中的前后顺序是不影响结果的，ES会和普通的关系型数据库一样，先进行where再进行group by。 接着介绍下各种filter的作用：    1.setQuery(或者说filter)：对搜索结果和aggregation都起作用...