Angus

elasticsearch 8.X新特性

全网最全 elasticsearch新特性整理。

记录一下自己要分享的elasticsearch源码相关的内容列表。保证每一篇文章都会好好磨！

从使用elasticsearch开发系统，到给elasticsearch源码添砖加瓦。分享一下自己的成长经历。

关于Es对sql 和 jdbc odbc的支持情况

The ‘Access-Control-Allow-Origin’ header contains multiple values “*, *”, but only one is allowed.通常我们的跨域可以在三个地方解决通过配置类在后台代码解决。还可以通过注解在接口上解决。 可以在业务网管层面解决。 可以在nginx层面解决。以上的三种方式，假如用了两种。则会出现双重跨域的异常错误。解决方案如果知道在哪里用了两次跨域的话，选择剔除一个地方也是可以的。假如在业务网关层统..

我有一个大胆的想法，假如我们获取数据的需求并不需要对数据排序。我觉得我们完全可以按序从每个分片上依次获取数据。这样我们可以避免一个问题，数据不用在每个分片查询然后再在协调节点上排序。假如我们有200个分片，想要获取全部数据，那就先从第一个分片上获取全部的数据，然后再从第二个分片上滚动获取数据，直到循环获取到第200个分片上的数据。这将避免了一些IO，避免了无用的网络传输，避免了协调节点汇总数据做出的资源浪费操作。因为我们本身并只是想要快速的获取到全部的数据，也不关注数据是否排序了！ 下边这篇文章...

原理剖析这篇主要简单介绍SearchScroll的流程和SearchScroll的并发原理。流程剖析使用SearchScroll功能，用户的请求主要分为两个阶段，我们将第一阶段称之为Search阶段，第二阶段称之为Scroll阶段。如下图所示。其中第一阶段和传统的Search请求流程几乎一致，在Search流程的基础上进行了一些额外的特殊处理，比如Slice并发处理、Context上下文保留、Response中返回scroll_id、记录本次的游标地址方便下一次scroll请求继续.

Paginate search results | Elasticsearch Guide [8.1] | Elastichttps://www.elastic.co/guide/en/elasticsearch/reference/8.1/paginate-search-results.html#slice-scroll先敬上官网链接。一手资料永远都是官网！我先说一下为什么会关注这块内容：我有需求需要快速导出集群中的数据，而数据又非常多。将近20亿！单线程利用 scroll导出也比较慢。然后我..

我们通常会有需求：根据指定条件，查询数据。并分页展示。甚至还有可能要导出全部的数据。在工作中，经常会有需求，将指定条件的数据导出（这个数据量多数在2亿以上，有一次是18亿）。导出数据的速度是挺慢的，特别是在单线程的情况下！我们在这篇文章中，主要说三种分页查询数据的方式。from+size查询性能：时间复杂度O(n)，空间复杂度O(n)。从时间复杂度和空间复杂度上，可以看出来，随着向后翻页，数据量变多，一定会有性能问题。严重情况下，会有OOM问题。from + size的原理是：每.

fieldData是干啥的？当我们对text类型的字段进行首次聚类、排序、或者执行脚本的时候。将磁盘中的数据构建到内存够中。默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。大多数字段可以将索引时生产的磁盘doc_values(doc_values | Elasticsearch Guide [8.1] | E

需求：我想研究以下es参数调优问题，第一步需要先知道集群所有的参数。但是在网上搜了好多，都是从官网上cv的，很明显不够。我可以用下边的一条命令，来查看全部的参数，包含已经配置的，和默认的。在kibana上执行：GET _cluster/settings?include_defaults&flat_settings...

内存占用ES的JVM heap按使用场景分为可GC部分和常驻部分。 可GC部分内存会随着GC操作而被回收； 常驻部分不会被GC，通常使用LRU策略来进行淘汰； 内存占用情况如下图：common space包括了indexing buffer和其他ES运行需要的class。indexing buffer由indices.memory.index_buffer_size参数控制， 默认最大占用10%，当full up后，该部分数据被刷入磁盘对应的Segments中。这部分空间是可以被回收

总熔断器（相当于似乎总闸）参数： indices.breaker.total.use_real_memory默认值：true在 elasticsearch.yml中配置。参数： indices.breaker.total.limit如果 indices.breaker.total.use_real_memory : true, indices.breaker.total.limit 为堆大小的 95%。如果为false， indices.breaker.total.limit 为堆大

记录自己对es感兴趣，觉得对es集群优化有帮助的点。主要以时间为分割点，以后会做一个分类！2022-03-26 TODO LIST分析全部的es参数配置 写一篇文章：关于es参数调优。 分析一下es中的内存分配情况。 分析一下es聚类分析的原理源码 分析一下流程 分析一下资源花费情况 得出结论，我们应该如何更好的使用agg聚类分析。 完成情况.....

一手资料永远都是官网这里给一个官网文档的传送门：https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html一手资料，最好的还是源码我们应该学会从源码中寻找答案。下边的文章，知识教我们如何开始读源码。没有直接去分析源码。如何读源码学习_水的精神的博客-CSDN博客网上的一些优质博客当然，Elasticsearch的官方文档上也有一些我们找不到的东西，比如集群的优化等等。这时我们就..

近期每周都会约一些面试。尝试和面试官对线。原因有几点：想要看一下现在市场上，面试官们都青睐什么样的人才。看一下自己到底值多少钱。 想要找一下自信，通过和面试官的对线，来获取自信心。百分之八十的面试都是很顺畅的。 想要检讨一下自身的不足。面试其实就像一面镜子，什么水平，短板一下子就会暴露在阳光之下。太自信了以后，容易飘在空中，自以为自己无所不能。其实面试被吊打这是好事，我们可以找到自己的提升点。不能小看这些，如果你都能补充起来，每个点少说也得加2000块钱。 和一些优秀的面试官对线。实际上是可以开.

将移动硬盘插入到服务器上在服务器上使用fdisk 命令查看一下你插入的移动硬盘。sudo fdisk -l如果没猜错的话，应该是：/dev/sdb1挂载硬盘插入的盘是需要挂在的，不能直接使用使用命令：先创建一个文件夹我在/目录下创建的cd /mkdir exportData挂在插入的硬盘到这个目录sudo mount /dev/sdb1 /exportData/接着再去看我们新建的文件夹下，就可以看到硬盘上的数据了，此时我们向这个文件..

ES为什么需要有translog？es是近实时的存储引擎（和搜索引擎）。所谓近实时，是指新增一条数据，或者修改一条数据，并不能保证被立刻看到。数据被看到的时候数据已经作为一个提交点，被写入到了文件系统中（这个过程称为refresh）。因为一次写入的成本相对比较大，所以用攒一波批量提交的方式，写入性能会更好。不管这些数据都是在堆内存中还是在文件系统中（Filesystem Cache），如果发生断电，或者JVM的崩溃，则这部分数据一定会丢失。为了防止数据丢失，这部分数据会被写入到traslog中一份。当然

最近的面试中，数据结构被吊打了很多次。之前蚂蚁金服被加面，也是因为四面的面试官对我的评价是：数据结构和算法不扎实。数据结构是大学学过的基础课。当时年少无知，无法理解数据结构的重要性，学的也不怎么好。不精通就不足以支撑面试了。（当然学任何知识都不是为了应付面试的，这一点一定要清楚）只不过作为初级开发，像我这样刚从大学毕业两年的，不去写中间件之类的。说实话挺少用到数据结构这些东西。因为实际上的开发工作，更多的是运用到的都是开发语言为我们写好的集合。