elasticsearch
文章平均质量分 92
迷路剑客
弱小和无知不是生存的障碍,傲慢才是。
展开
-
Elasticsearch-缓存
转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:关于 Elasticsearch 的查询缓存,你想知道的都在这里作者:EASYICE出处:colabugShard request cache出处:Elasticsearch官网1 概述Elasticsearch 中有多种查询缓存,当一个查询请求执行后,他可能会被缓存下来,但是哪些查询会被缓存,哪些不会缓存,缓存了什么内容,什么时候失效,手册中并没有很系统的阐述,并且文档中也存在一些疑点,导致整个查询缓存体系转载 2020-12-30 20:31:48 · 2493 阅读 · 0 评论 -
Elasticsearch-倒排索引原理
转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:时间序列数据库的秘密(2)——索引作者:陶文出处:infoq1 概述Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询。倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢?笼统的来说,b-tree索引是为读优化化的索引结构。当我们不需要支持快速的更新的时转载 2020-12-16 23:25:42 · 6563 阅读 · 1 评论 -
Elasticsearch-好文推荐
Elasticsearch-好文推荐1 概念Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号Elasticsearch学习-Doc与Segment原理Elasticsearch-ClusterState2 使用Elasticsearch-CrossClusterSearch(CCS)Elasticsearch-RestHighLevelClient的使用Elasticsearch-Rollover Index3 源码Elastics原创 2020-12-12 22:21:34 · 357 阅读 · 1 评论 -
Elasticsearch-BulkProcessor-死锁分析
Elasticsearch-BulkProcessor-死锁分析摘要本文基于ES 6.4.3。主要分析由于在使用BulkProcessor向ES集群提交数据而集群响应异常时,导致的BulkProcessor死锁,而无法继续向BulkProcessor提交新数据,导致整个处理流程卡死的问题。关于BulkProcessor原理可参考Elasticsearch-BulkProcessor浅析关于Java线程状态原理可参考Java-多线程-线程状态1 问题概述我们程序流程是:从Kafka消费数据原创 2020-09-08 16:31:06 · 3620 阅读 · 2 评论 -
Elasticsearch-面试系列-查询速度快的原因
Elasticsearch-面试系列-查询速度快的原因转载声明本文大量内容系转载自网络,有删改,并参考其他文档资料加入了一些内容:Elasticsearch如何做到亿级数据查询毫秒级返回?作者:过往记忆大数据出处:过往记忆大数据1 问题提出1.1 面试题es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊?1.2 面试官心理分析这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据转载 2020-06-07 14:04:09 · 3681 阅读 · 0 评论 -
Elasticsearch-Hive
Elasticsearch-Hive1 下载和安装ES-Hadoop下载ES-Hadoop下载上传jar到Hive客户端所在机器解压下载的ZIP包,进入elasticsearch-hadoop/dist,把elasticsearch-hadoop.jar文件拷贝到Hive客户端所在机器。安装打开hive beeline后,执行:ADD JAR /path/elastic...原创 2020-02-11 09:39:14 · 1064 阅读 · 0 评论 -
Elasticsearch-CrossClusterSearch(CCS)
Elasticsearch-CrossClusterSearch(CCS)1 概述cross-cluster search,简称为CCS,即跨集群搜索。可以使得节点当做联邦客户端跨多个集群查询。不同于老版本的tribe node参与到远程集群的方式,CCS使用轻量级方式连接到远程集群来执行联邦查询。具体来说,CCS通过在cluster state中配置远程集群,且仅连接到远程集群中有限数量的...原创 2020-01-13 17:42:27 · 2553 阅读 · 0 评论 -
Elasticsearch-RestHighLevelClient的使用
Elasticsearch-RestHighLevelClient的使用1 概述RestHighLevelClient设计在之前的Rest Client(现在称为Java Low Level REST Client)之上,主要为了替换之前的TransportClient。相较于TransportClient,RestHighLevelClient最优之处在于可以兼容当前版本及以后版本的ES ...原创 2019-11-07 15:43:45 · 5441 阅读 · 6 评论 -
Elasticsearch学习-Rollover Index
Elasticsearch学习-Rollover Index背景最早项目中没有Index滚动功能,随着数据增多Index变得巨大后效率急剧降低。后来加了逻辑,每个月滚动一次Index。但是这样还是不能应对每个Index差异化的数据增加速度。再后来就加了滚动判断逻辑,数据量或数据行数达到阈值就滚动到下一个Index,而且我们去掉了影响性能的TTL机制,而是采用按配置来删以天为基础单位、及滚动...原创 2019-11-05 13:33:20 · 2307 阅读 · 0 评论 -
Elasticsearch-BulkProcessor浅析
Elasticsearch-BulkProcessor浅析1 概述可参考Elasticsearch Bulk ProcessorBulkProcessor提供了一个简单的接口来实现批量提交请求(多种请求,如IndexRequest,DeleteRequest),且可根据请求数量、大小或固定频率进行flush提交。flush方式可选同步或异步。以下是一个官方例子import org.elas...原创 2019-07-24 12:35:42 · 10235 阅读 · 20 评论 -
Elasticsearch学习-ClusterState
Elasticsearch学习-ClusterState1 概念Elasticsearch集群Master和Data/CoordinatingNode之间同步ClusterState,包含了整个集群节点的综合信息。通过访问es_http/_cluster/state,可以看到es集群ClusterState详情:CoordinatingNode(协调节点)在收到client请求后,正是利...原创 2019-07-15 20:56:05 · 1301 阅读 · 0 评论 -
架构-有赞基于ES的搜索系统架构演进
架构-有赞基于ES的搜索系统架构演进转载声明本文大量内容系转载自以下文章,有删改有赞基于ES的搜索系统架构是如何演进的?作者:hehua出处:51CTO0x01 背景有赞搜索平台是一个面向公司内部各项搜索应用以及部分 NoSQL 存储应用的 PaaS 产品,帮助应用合理高效的检索和多维过滤功能。有赞搜索平台目前支持了大大小小一百多个检索业务,服务于近百亿数据。在为传统的搜索应用...转载 2019-04-02 15:56:21 · 818 阅读 · 0 评论 -
唯品会Dragonfly日志系统的Elasticsearch实践
唯品会Dragonfly日志系统的Elasticsearch实践转载声明:本文转自唯品会Dragonfly日志系统的Elasticsearch实践公众号:唯技术作者: 潘卫华转载仅为方便学习查看,一切权利属于原作者,如果带来不便请联系我删除。0x01 摘要-唯品会日志系统初探唯品会日志系统,承接了公司上千个应用的日志,提供了日志快速查询、统计、告警等基础服务,是保障公司技术体系正常...转载 2018-10-23 23:00:23 · 846 阅读 · 0 评论 -
Elasticsearch学习-Doc与Segment原理
Elasticsearch学习-Doc与Segment原理0x00 系列文章目录Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号Elasticsearch学习-搜索调优Elasticsearch学习-Doc原理0x01 摘要本文主要讲下ES中Doc(文档)和Segment(段)的底层原理。0x02 Doc概念2.1 术语介绍首先...原创 2018-09-29 18:16:59 · 10558 阅读 · 2 评论 -
Elasticsearch学习-搜索调优
Elasticsearch学习-搜索调优0x00 系列文章目录Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号Elasticsearch学习-搜索调优0x01 摘要本文会讲讲es中的4种搜索模式以及该如何选择,还会说一些常用的搜索调优选项。本文基于ES-2.3.30x02 search_type2.1 QUERY_THEN_FET............原创 2018-09-28 18:15:41 · 1724 阅读 · 0 评论 -
Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号
Elasticsearch为什么这么快0x01 摘要我们都知道Elasticsearch是高效的搜索神器,为什么他会这么快呢?本文浅谈ES几点基本的设计理念,相信会对ES为什么这么快有进一步的认识。仅供参考。注意,本文档适用于ES 2.x 0x02 倒排索引2.1 原理ES数据存储底层使用了Lucene,其中最重要的一个设计就是倒排索引。一个倒排索引由doc中...原创 2018-09-12 21:59:39 · 6322 阅读 · 4 评论