铭毅天下

【死磕Elasticsearch知识星球】http://t.cn/RmwM3N9；【Elasticsearch微信公众号】铭毅天下；【死磕ElasticsearchQQ群】626036393...

原《死磕 Elasticsearch 方法论》：普通程序员高效精进的 10 大狠招！（完整版）

人工智能、大数据快速发展的今天，对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀，从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势，已经成为当下风口中“会飞的猪”。阿里云...

2018-02-08 20:45:36

阅读数：9051

评论数：5

原 Elasticsearch深入详解-知识图谱（每周更新）

1、题记 Elasticsearch技术已经燃爆到飞的感觉。为了方便订阅Elasticsearch深入详解的博友们第一时间获取最新经验分享，和大家一起成长，特将本专栏内容制作为Elasticsearch深入详解知识图谱。并承诺【铭毅天下】微信公众号每周不定时推送ES深入研究文章至少一篇...

2017-08-19 11:13:59

阅读数：5386

评论数：2

原 Elasticsearch学习，请先看这一篇！

题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架...

2016-08-18 21:08:36

阅读数：88231

评论数：25

原 Elasticsearch的使用场景深入详解

了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能，如统计。 Elasticsea...

2016-08-17 08:40:56

阅读数：44321

评论数：9

原干货 | Elasticsearch Reindex性能提升10倍+实战

1、reindex的速率极慢，是否有办法改善？以下问题来自社区：https://elasticsearch.cn/question/3782 问题1：reindex和snapshot的速率极慢，是否有办法改善？ reindex和snapshot的速率比用filebeat或者kafka到...

2018-08-11 18:19:21

阅读数：5602

评论数：17

原干货 | Elasticsearch索引生命周期管理探索

引言 Elasticsearch上海Meetup中ebay工程师提了索引生命周期管理的概念。的确，在Demo级别的验证阶段我们数据量比较小，不太需要关注索引的生命周期，一个或几个索引基本就能满足需要。所以，这也会产生一种假象，认为：“Elasticsearch不就是增删改查，毛毛雨啦”的荒诞的假...

2018-08-05 16:44:53

阅读数：293

评论数：0

原干货 | Elasticsearch集群黄色原因的终极探秘

1、Elasticsearch集群不同颜色代表什么？绿色——最健康的状态，代表所有的主分片和副本分片都可用；黄色——所有的主分片可用，但是部分副本分片不可用；红色——部分主分片不可用。（此时执行查询部分数据仍然可以查到，遇到这种情况，还是赶快解决比较好。 2、Elastics...

2018-07-29 15:20:09

阅读数：448

评论数：1

原干货 | Nginx实现Elasticsearch后台服务的负载均衡

1、题记 Elasticsearch后台程序开发完毕后，相关的ES配置、部署、ES DSL查询、聚合语句也做了优化，但实际客户仍然要求提高QPS，要求保障性能的前提下的很高的并发用户数。这时候，你能想到的方案是什么呢？实际调研发现，优选方案是Nginx负载均衡方案。 2、为什么是N...

2018-07-29 13:46:31

阅读数：509

评论数：0

原探究 | Elasticsearch不支持事务有什么好的弥补方案吗？

1、问题源自星球同学的提问：es如何与hive或mysql结合使用？es不支持事务有什么好的弥补方案吗？ 2、事务的核心概念如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下ACID四个特性：原子性（Atomicity）原子性是指事务包含的所有操作要么全部成功，要...

2018-07-15 14:38:45

阅读数：482

评论数：0

原探究 | kafka-connector 同步 Elasticsearch速度慢根因分析？

1、kafka同步Elasticsearch的方式之前博文中也有介绍：方式一：logstash_input_kafka 方式二：kafka_connector 方式三：spark stream 方式四：java程序读写自己实现 2、kafka-connector同步kafka到E...

2018-07-15 10:25:07

阅读数：297

评论数：0

原总结 | Elasticsearch对外提供分词服务实践

1、问题抛出？实战开发应用场景中，有获取一段话、一篇文章词频的业务场景，词频的前提就是分词。常用的中文分词包括： 1、IK分词——https://github.com/medcl/elasticsearch-analysis-ik 2、结巴分词——https://github.co...

2018-07-04 23:57:42

阅读数：296

评论数：2

原干货 | Elasticsearch 趋势科技实战分享笔记

少啰嗦，直接看东西。 1、Elasticsearch 索引的设计 1.1 单一索引还是基于时间的索引？单一索引的问题： 1）不能更新Mapping。比如：主分片数不可以修改（除非reindex）。 2）无法灵活、快速地扩展。 3）更适合固定、小型数据集。基于时间的...

2018-07-03 00:22:43

阅读数：530

评论数：0

原干货 | 你是不是也有多进程管理的困惑呢？

1、问题引出——多进程应用场景场景一：将关系型、非关系型数据的数据同步到ES中。但是数据库中的表有多个，一种方案是：一个配置文件中 if else 的方式配置多个表；另外一种方案是：多个配置文件，多个进程并行执行。如下图所示：场景二： kafka多个通道的数据借...

2018-06-24 16:36:15

阅读数：732

评论数：2

原抢先 | 支持sql的Elasticsearch6.3全景概览

1、Elasticsearch6.3 特性概览 1.1、支持Sq 像操作Mysql一样使用Elasticsearch，缩减DSL的学习成本，更多人爱上ES的特性。 POST /_xpack/sql?format=txt { "query":...

2018-06-15 00:21:08

阅读数：2540

评论数：0

原严选 | Elasticsearch史上最全最常用工具清单

1、题记工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。希望能借助“工具”提高开发、运维效率！ 2、工具分类概览 2.1 基础类工具 1、Head插件 1）功能概述： ES集群状态查看、索引数据查看、ES DSL实现（...

2018-06-10 22:29:26

阅读数：915

评论数：0

原干货 | 知识库全文检索的最佳实践

1、题记这是stackoverflow上一篇精彩的问答。原文不大好理解，我做了梳理+图解；原文是ES早期版本，部分写法已不适用，所有DSL我在6.X上进行了重写和验证；针对原文内容做了扩展。 2、知识库全文检索问题抛出重新审视一个停滞不前的项目，并...

2018-06-07 22:41:13

阅读数：497

评论数：2

原吃透 | Elasticsearch filter和query的不同

少啰嗦，直接看东西。——罗永浩 1、query和filter的本质区别？以下几张图能更好的概括： query关注点：此文档与此查询子句的匹配程度如何？ filter关注点：此文档和查询子句匹配吗？ 2、Query检索细化关注点 1）是否包含？确定文档是否应该成为结果的一部...

2018-05-27 13:25:44

阅读数：1751

评论数：2

原方法 | Elasticsearch Jest 批量操作bug 根因定位排查

1、背景使用Jest进行批量插入数据的时候，偶尔会出现如下的bug One or more of the items in the Bulk request failed, check BulkResult.getItems() for more information. 起...

2018-05-25 22:44:55

阅读数：435

评论数：0

原干货 | Elasticsearch 布道者Medcl对话携程Wood大叔核心笔记

Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网，携程内部大量运用了 Elasticsearch来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台，目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个...

2018-05-23 00:25:56

阅读数：701

评论数：0

原实战 | 一步步排查基于业务场景的Elasticsearch难题！

1、题记我们在实际的业务场景中做Elasticsearch开发时，免不了遇到这样、那样的问题。《死磕Elasticsearch方法论》中，已经告诉大家相关问题的排查方法。这一节，我们以具体的示例，解决基于业务场景的Elasticsearch难题的方法？ 2、上问题请问下es...

2018-05-20 21:43:32

阅读数：469

评论数：0

提示

确定要删除当前文章？

取消删除