铭毅天下

【死磕Elasticsearch知识星球】http://t.cn/RmwM3N9；【Elasticsearch微信公众号】铭毅天下；【死磕ElasticsearchQQ群】626036393...

RSS订阅
排序：
默认
按更新时间
按访问量

原 《死磕 Elasticsearch 方法论》：普通程序员高效精进的 10 大狠招！（完整版）

人工智能、大数据快速发展的今天，对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀，从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势，已经成为当下风口中“会飞的猪”。 阿里云...

2018-02-08 20:45:36

阅读数：3282

评论数：0

原 Elasticsearch深入详解-知识图谱（每周更新）

1、题记 Elasticsearch技术已经燃爆到飞的感觉。 为了方便订阅Elasticsearch深入详解的博友们第一时间获取最新经验分享，和大家一起成长，特将本专栏内容制作为Elasticsearch深入详解知识图谱。 并承诺【铭毅天下】微信公众号每周不定时推送ES深入研究文章至少一篇...

2017-08-19 11:13:59

阅读数：4358

评论数：2

原 Elasticsearch学习，请先看这一篇！

题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架...

2016-08-18 21:08:36

阅读数：70287

评论数：20

原 Elasticsearch的使用场景深入详解

了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能，如统计。 Elasticsea...

2016-08-17 08:40:56

阅读数：36898

评论数：8

原 干货 | Elasticsearch 布道者Medcl对话携程Wood大叔核心笔记

Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网，携程内部大量运用了 Elasticsearch来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台， 目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个...

2018-05-23 00:25:56

阅读数：200

评论数：0

原 实战 | 一步步排查基于业务场景的Elasticsearch难题！

1、题记 我们在实际的业务场景中做Elasticsearch开发时，免不了遇到这样、那样的问题。 《死磕Elasticsearch方法论》中，已经告诉大家相关问题的排查方法。 这一节，我们以具体的示例，解决基于业务场景的Elasticsearch难题的方法？ 2、上问题 请问下es...

2018-05-20 21:43:32

阅读数：101

评论数：0

原 Elasticsearch词频统计实现与原理解读

0、实战问题 有了分词，项目开发中会遇到，某个索引的文档集合中，共有多少XX关键词？ 这就引发出了词频统计的问题。 社区问题： 中文分词后能否统计索引词频 初学者，想做一个简单的论坛检索和热词分析的应用，IK分词后能否将分好的索引词出现频率排序。这样可以形成一个大致的热点词汇范...

2018-05-13 22:56:37

阅读数：268

评论数：0

原 严选 | ELK Stack 选书指南

少废话，直接干货。 0、我们为什么要买一本书？ 书中梳理出更清晰的知识体系 书是作者实践总结的干货 书的理论基础部分能快速带我入门 书的实践部分帮我们提升技能 书中知识是网上官网文档/google/stackoverflow/github等都短时间不能找到的资料 书是一种工具，帮我们产品...

2018-05-06 15:11:36

阅读数：245

评论数：0

原 探究 | Elasticsearch如何物理删除给定期限的历史数据？

1、题记 想到删除，基础认知是delete，细分为删除文档（document）和删除索引；要删除历史数据，基础认知是：删除了给定条件的数据，用delete_by_query。 实际操作发现： - 删除文档后，磁盘空间并没有立即减少，反而增加了？ - 除了定时任务+delete_by_que...

2018-04-22 14:49:34

阅读数：280

评论数：0

原 干货 | 吃透Elasticsearch 堆内存

1、什么是堆内存？ Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域： - 新生代 ( Young )、 - 老年代 ( Old )。 新生代 ( Young ) 又被划分为三个区域 ： - Eden、...

2018-04-19 00:05:37

阅读数：396

评论数：2

原 Elasticsearch6.X 去重详解

1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢？ 1）如何去重计数？ 类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。 类似mysql：SELECT DISTINCT nam...

2018-04-12 00:04:35

阅读数：631

评论数：0

原 探究 | Elasticsearch CPU高排查思路

一、可能导致ES CPU高的原因： 1、复杂的query查询 举例：我这边出现过200个组合wildcard query导致集群down掉的情况； 2、有大量的reindex操作 3、ES版本较低 二、排查思路 2.1、业务场景排查 问自己几个问题？ - 1）集群中...

2018-04-10 00:16:35

阅读数：417

评论数：0

原 Elasticsearch6.X 新类型Join深入详解

0、ES6.X 一对多、多对多的数据该如何存储和实现呢？ 引出问题： “某头条新闻APP”新闻内容和新闻评论是1对多的关系？ 在ES6.X该如何存储、如何进行高效检索、聚合操作呢？ 相信阅读本文，你就能得到答案！ 1、ES6.X 新类型Join 产生背景 Mysq...

2018-03-31 23:16:32

阅读数：1136

评论数：0

原 Elasticsearch6.2.2 X-Pack部署及使用详解

X-Pack已经开源，预计Elasticsearch6.3版本会全面集成，不再收费。 赶紧体验一下强大的X-pack吧！ 1、 X-Pack 概览 X-Pack 简介 1）利用 X-Pack 拓展可能性。 X-Pack 是集成了多种便捷功能的单个插件 — security、alert...

2018-03-20 21:52:48

阅读数：655

评论数：0

原 Elasticsearch实战 | 必要的时候，还得空间换时间!

1、应用场景 实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。 另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示： 业务系统的分层结构可分为：接入层、数据处理层、数据存...

2018-03-11 12:50:34

阅读数：709

评论数：0

原 Elasticsearch全量数据增量遍历实现原理

0、需求 针对凤凰网财经版块的新闻数据和评论数据， 1个索引存储采集凤凰网财经版块的新闻数据；1个索引存储相关的财经数据评论结果。 统计： 1）某条新闻的评论数的多少？ 2）某条评论属于哪条新闻？ 3）当前已采集数据的所有评论、评论数汇总，按照评论数逆序排序，以便于图形化展示。 1...

2018-03-04 16:12:42

阅读数：678

评论数：0

原 Elasticsearch索引增量统计及定时邮件实现

0、需求 随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。 如何以相对简单的图形化效果展示数据的增量呢？ 本文给出思路和实现。 ...

2018-03-03 01:14:35

阅读数：730

评论数：0

原 Elasticsearch聚合优化 | 聚合速度提升5倍

1、聚合为什么慢？ 大多数时候对单个字段的聚合查询还是非常快的， 但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 es 大量内存，从而导致 OOM 的情况发生。 实践应用发现，以下情况都会比较慢： 1）待聚合文档数比较多（千万、亿、十亿甚至更多）； 2）聚合条件比较...

2018-02-04 16:27:01

阅读数：1465

评论数：0

原 Elasticsearch实战 | match_phrase搜不出来，怎么办？

1、问题抛出 某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。 举例： title=公路局正在治理解放大道路面积水问题。 输入关键词:道路，能否搜索到这个document呢？ 实际应用中可能需要： 1）检索关键词”理解”、”...

2018-02-03 21:55:15

阅读数：712

评论数：4

原 Elasticsearch聚合后分页深入详解

1、Elasticsearch支持聚合后分页吗，为什么？ 不支持，看看Elasticsearch员工如何解读。 这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下： 1）性能角度——聚合分页会在大量的记录中产生性能问题。 2）正确性角度——...

2018-01-20 11:18:58

阅读数：2784

评论数：0

提示
确定要删除当前文章？
取消 删除
关闭
关闭