优化后,ES-做到了几十亿数据检索-3-秒返回,Java开发必须会的技能

**1、**数据能跨月查询,并且支持1年以上的历史数据查询与导出。

**2、**按条件的数据查询秒级返回。

三、ES 检索原理

3.1 关于ES和Lucene基础结构

谈到优化,必须能了解组件的基本原理,才容易找到瓶颈所在,以免走多种弯路,先从ES的基础结构说起(如下图):

一些基本概念:

Cluster 包含多个Node的集群

Node 集群服务单元

Index 一个ES索引包含一个或多个物理分片,它只是这些分片的逻辑命名空间

Type 一个index的不同分类,6.x后只能配置一个type,以后将移除

Document 最基础的可被索引的数据单元,如一个JSON串

Shards 一个分片是一个底层的工作单元,它仅保存全部数据中的一部分,它是一个Lucence实例 (一个lucene索引最大包含2,147,483,519 (= Integer.MAXVALUE - 128)个文档数量)_。

Replicas 分片备份,用于保障数据安全与分担检索压力

ES依赖一个重要的组件Lucene,关于数据结构的优化通常来说是对Lucene的优化,它是集群的一个存储于检索工作单元,结构如下图:

在Lucene中,分为索引(录入)与检索(查询)两部分,索引部分包含 分词器、过滤器、字符映射器 等,检索部分包含 查询解析器 等。

一个Lucene索引包含多个segments,一个segment包含多个文档,每个文档包含多个字段,每个字段经过分词后形成一个或多个term。

通过Luke工具查看ES的lucene文件如下,主要增加了id和source字段:

3.2 Lucene索引实现

Lucene 索引文件结构主要的分为:词典、倒排表、正向文件、DocValues等,如下图:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值