Elasticsearch
机器熊技术大杂烩
欢迎访问机器熊的技术大杂烩,专注Java技术。
展开
-
Elasticsearch应用案例2:携程网的垂直搜索和海量日志运维实践
ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别;其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多。 这两种场景的数据索引和应用访问模式上差异较大,在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴,数据量级和集群规模更大,在管理方...转载 2019-05-20 15:06:00 · 582 阅读 · 0 评论 -
Intellij IDEA调试Elasticsearch 5.4.0源码
Intellij IDEA调试Elasticsearch 5.4.0源码目录1 文档需求2 硬件环境3 前置软件安装与配置3.1 JDK3.2 Gradle3.2.1 Gradle介绍 3.2.2 Gradle安装 3.3 Intellij IDEA 4 Elasticsearch源码和安装包下载 4.1.1 源码下载 4.1.2 安装包下载 5 项目初始化 5.1 ...原创 2019-05-22 10:42:41 · 593 阅读 · 0 评论 -
Elasticsearch底层读写原理分析
Lucene读写原理要真正掌握Elasticsearch的读写原理,首先要了解其底层Lucene的读写原理,推荐以下系列文章:Lucene学习总结之一:全文检索的基本原理Lucene学习总结之二:Lucene的总体架构Lucene学习总结之三:Lucene的索引文件格式(1)Lucene学习总结之三:Lucene的索引文件格式(2)Lucene学习总结之三:Lucene的索引文件格式(...原创 2019-05-22 10:31:17 · 553 阅读 · 0 评论 -
Elasticsearch 主要监控指标
Elasticsearch具有通用性、可扩展性和实用性的特点,集群的基础架构必须满足如上特性。合理的集群架构能支撑其数据存储及并发响应需求。相反,不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。监控系统的节点运行情况、集群健康、JVM性能状况、索引性能、检索性能等,实时发现问题,防患于未然。监控工具实际业务场景中,如果公司条件允许,X-pack是首选,具备数据安全...转载 2019-05-22 09:34:54 · 4106 阅读 · 0 评论 -
Elasticsearch应用案例4:滴滴Elasticsearch多集群架构实践
原文地址:https://mp.weixin.qq.com/s/K44-L0rclaIM40hma55pPQ1. 使用情况滴滴 2016 年初开始构建 Elasticsearch 平台,如今已经发展到超过 3500+ Elasticsearch 实例,超过 5PB 的数据存储,峰值写入 tps 超过了 2000w/s 的超大规模。Elasticsearch 在滴滴有着非常丰富的使用场景,例如...转载 2019-05-21 21:23:08 · 360 阅读 · 0 评论 -
Elasticsearch性能优化:索引、查询和内存优化
本文从索引、查询和内存三个方面介绍一些基础的Elasticsearch性能优化方法。1.索引优化1.1 批量提交当有大量数据提交的时候,建议采用批量提交。比如在做 ELK 过程中 ,Logstash indexer 提交数据到 Elasticsearch 中 ,batch size 就可以作为一个优化功能点。但是优化 size 大小需要根据文档大小和服务器性能而定。像 Logstash ...转载 2019-05-21 20:38:52 · 1280 阅读 · 0 评论 -
Elasticsearch聚合性能优化:深度优先和广度优先
原文链接:https://www.elastic.co/guide/cn/elasticsearch/guide/current/_preventing_combinatorial_explosions.html优化聚合查询“elasticsearch 里面桶的叫法和 SQL 里面分组的概念是类似的,一个桶就类似 SQL 里面的一个 group,多级嵌套的 aggregation, 类似 SQ...转载 2019-05-21 17:06:39 · 2241 阅读 · 1 评论 -
Elasticsearch权威指南
在关于Elasticsearch的众多书籍、博客等材料当中,地位最高的自然是*Elasticsearch权威指南*,若想真正玩转ES,阅读指南是必经之路。中文版信息《Elasticsearch: 权威指南》Clinton GormleyZachary Tong版权 © 2014, 2015, 2016 Elasticsearch本作品采用 署名-非商业性使用-禁止演绎 3.0 未本...原创 2019-05-21 16:43:42 · 429 阅读 · 0 评论 -
Elasticsearch性能调优:千万不要做愚蠢的事
在 Elasticsearch 中有一些热点,人们可能不可避免的会碰到。 我们理解的,所有的调整就是为了优化,但是这些调整,你真的不需要理会它。因为它们经常会被乱用,从而造成系统的不稳定或者糟糕的性能,甚至两者都有可能。原文链接:不要触碰这些配置垃圾回收器先说结论,不要更改默认的垃圾回收器!Elasticsearch 默认的垃圾回收器( GC )是 CMS。 这个垃圾回收器可以和应用...转载 2019-05-21 15:48:58 · 4719 阅读 · 0 评论 -
Elasticsearch性能优化:高效管理基于时间的索引,实现冷热数据分离
转载自http://stormluke.me/es-managing-time-based-indices-efficiently/原文链接And the big one said “Rollover” — Managing Elasticsearch time-based indices efficiently用 Elasticsearch 来索引诸如日志事件等基于时间的数据的人可能已经...翻译 2019-05-21 10:42:41 · 1339 阅读 · 0 评论 -
Elasticsearch:为了搜索,你懂的(For Search, You Know)
Elasticsearch模糊的历史多年前,一个叫做Shay Banon的刚结婚不久的失业开发者,由于妻子要去伦敦学习厨师,他便跟着也去了。在他找工作的过程中,为了给妻子构建一个食谱的搜索引擎,他开始使用Lucene进行尝试。直接基于Lucene工作会比较困难,所以Shay开始抽象Lucene代码以便Java程序员可以在应用中添加搜索功能。他发布了他的第一个开源项目,叫做“Compass”。...原创 2019-05-20 16:49:09 · 1719 阅读 · 0 评论 -
Elasticsearch应用案例1:百度
百度从2013年10月开始使用Elasticsearch,目前百度内部20多个业务线涉及Elasticsearch技术栈,包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等。以下内容来自:百度Elasticsearch实践-高攀主要内容包括:背景介绍、典型应用场景、遇到的问题及经验分享、对ES的优化与改进、后期计划等。...转载 2019-05-20 15:41:28 · 988 阅读 · 1 评论 -
Elasticsearch应用案例3:新浪是如何分析处理32亿条实时日志的?
原文地址:http://dockone.io/article/505从2015年起,实时日志分析作为服务提供给公司的其他部门。服务介绍随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。技术架构这是一个再常见不过的架构了:(1)Kafka:...转载 2019-05-20 15:26:06 · 709 阅读 · 0 评论 -
Elasticsearch检索性能分析:Profile API
Elasticsearch从2.2版本开始提供 Profile API 供用户检查检索、聚合、过滤执行时间和其他细节信息,帮助用户分析每次检索各个环节所用的时间。官方文档:Profiling Querieshttps://www.elastic.co/guide/en/elasticsearch/reference/current/search-profile-queries.html使用...原创 2019-05-22 12:28:48 · 3829 阅读 · 0 评论