- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 es bucket和metric
1、ES 聚合的核心概念：桶（bucket）和指标（metric）桶（bucket）: 满足特定条件的文档的集合指标（metric）: 对桶内的文档进行聚合分析的操作聚合是由桶和指标组成的。聚合可能只有一个桶，可能只有一个指标，或者可能两个都有。转换成成对应的sql语句如下：select count() from Table_A group by FieldA其中：bucket 相当于 group by FieldA --> FieldA 字段内相同的数据，就会被划分到一个bucket中
2021-04-22 14:27:59
182
1
原创 es 嵌套查询
由于在ES中，所有单个文档的增删改都是原子性的操作，因此将相关的实体数据都储存在同一个文档是很好的，且由于所有信息都在一个文档中，因此当我们查询时就没有必要像mysql一样去关联很多张表，只要搜一遍文档就可以查出所有需要的数据，查询效率非常高因此除了基本数据类型之外，ES也支持使用复杂的数据类型，像是数组、内部对象，而要使用内部对象的话，需要使用nested来定义索引，使文档内可以包含一个内部对象。为什么不用object而要使用nested来定义索引的原因是：obejct类型会使得内部对象的关联性丢
2021-03-26 15:01:05
3366
原创 es 配置详解
配置文件详解# ---------------------------------- Cluster -----------------------------------cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。# ------------------------------------ Node -----------------.
2021-03-22 15:48:52
1522
转载 OS进程调度策略
先来先服务调度算法：先来先服务(FCFS)调度算法是一种最简单的调度算法，该算法既可用于作业调度，也可用于进程调度。当在作业调度中采用该算法时，每次调度都是从后备作业队列中选择一个或多个最先进入该队列的作业，将它们调入内存，为它们分配资源、创建进程，然后放入就绪队列。在进程调度中采用FCFS算法时，则每次调度是从就绪队列中选择一个最先进入该队列的进程，为之分配处理机，使之投入运行。该进程一直运行到完成或发生某事件而...
2020-09-29 10:26:15
362
转载 redis过期策略及配置方式
redis服务器实际使用的过期键删除策略有两种：定期删除 惰性删除redis 会将每个设置了过期时间的 key 放入到一个独立的字典中，以后会定时遍历这个字典来删除到期的 key。除了定时遍历之外，它还会使用惰性策略来删除过期的 key，所谓惰性策略就是在客户端访问这个 key 的时候，redis 对 key 的过期时间进行检查，如果过期了就立即删除。定时删除是集中处理，惰性删除是零散处理。通过配合使用这两种删除策略，服务器可以很好地合理使用cpu时间和避免浪费内存空间之间取得平衡。1.定期
2020-08-05 14:36:50
3107
1
原创 布隆过滤器详解
在进入正文之前，之前看到的有句话我觉得说得很好：Data structures are nothing different. They are like the bookshelves of your application where you can organize your data. Different data structures will give you different facility and benefits. To properly use the power and acce
2020-07-27 21:43:30
452
原创 es shard和segment
Shard（分片） 一个Shard就是一个Lucene实例，是一个完整的搜索引擎。一个索引可以只包含一个Shard，只是一般情况下会用多个分片，可以拆分索引到不同的节点上，分担索引压力。segmentelasticsearch中的每个分片包含多个segment，每一个segment都是一个倒排索引；在查询的时，会把所有的segment查询结果汇总归并后最为最终的分片查询结果返回；在创建索引的时候，elasticsearch会把文档信息写到内存bugffer中（为...
2020-07-24 15:50:37
693
原创 es写入和搜索底层原理
写入数据的底层原理数据先写入到buffer里面，在buffer里面的数据时搜索不到的，同时将数据写入到translog日志文件之中 如果buffer快满了，或是一段时间之后，就会将buffer数据refresh到一个新的OS cache之中，然后每隔1秒，就会将OS cache的数据写入到segment file之中，但是如果每一秒钟没有新的数据到buffer之中，就会创建一个新的空的segment file，只要buffer中的数据被refresh到OS cache之中，就代表这个数据可以被搜索到了
2020-07-24 15:43:49
300
转载 Kafka Rebalance机制
什么是RebalanceRebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka...
2020-06-18 10:43:27
894
转载 为什么Kafka那么快
网上有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章，我会重点解释——为什么真快。（当然不是因为它用了Scala！！！！）生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分...
2020-06-17 17:57:01
74
转载 组协调器
1. 消费者与消费者组首先简单了解一下消费者和消费者组：假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。如果消费者组中有两个消费者，那么每个消费者消费两个 partition。如果消费者组中有4个消费者，那么每个消费者消费一个...
2020-06-15 23:15:57
156
转载 微服务为什么需要网关
随着以API产品化和以其为中心的IT计划的兴起，API网关和管理层变得很通用。我们应该为微服务考虑API网关吗？如果是这样，它们能提供什么收益吗？API网关是什么？API网关可以提供一个单独且统一的API入口用于访问内部一个或多个API。它们典型的会提供访问频率限制层和安全层。但诸如Tyk.io这样的API管理层会提供分析，计费和生命周期管理功能。一个微服务架构可以包含数十到数百个服务。...
2018-08-09 14:12:55
830
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人