Elasticsearch Reference 7.9【中文翻译】— 2、Elasticsearch 7.9 新增内容

7.9 新增内容

以下是elasticsearch 7.9的新增功能和改进之处的亮点，详细内容请看以下文档和变更点。
其他版本：7.8 | 7.7 | 7.6 | 7.5 | 7.4 | 7.3 | 7.2 | 7.1 | 7.0

一、EQL

EQL（事件查询语言）是一种专门服务于模式辨别和事件关系的语言。
当你遇到以下情况时，你可以考虑使用EQL：
1）将Elasticsearch用于威胁狩猎或者其他安全事例；
2）搜索时间序列数据或者日志，比如网络或者系统日志；
3）想要更简单的搜索事件关系
关于EQL的介绍和用途都可以在这篇博客中找到。请阅读这篇Elasticsearch文档中的EQL获得深入的解释和语言使用参考。
包含以下模块：
1）事件查询
2）顺序排列
3）管道
关于ES下的EQL，更深入的详述可以在#49581找到。

二、数据流

数据流是一种便利的、可伸缩的方法，可以接受、搜索和管理持续产生的时间序列数据。他们提供一种简单的方式在多个索引中分割数据，通过简单命名资源进行查询。
让我们从数据流的文档开始吧。

三、支持完全并发的快照操作

快照操作现在可以以完全并发的方式执行。
1）创建和删除的操作可以以任何顺序执行
2）删除操作等待快照结束后执行，以分批执行的方式改进效率，一旦集群开始排队，可以防止新的快照在数据节点启动前执行。
3）快照创建是完全并行的，但是每个数据库的每个碎片快照是线性的，快照终结也是如此。

四、提升Bucket Aggregation 桶聚合的速度和内存使用率

在7.9以前，大多数人使用的复杂查询需要在一个包含很多数据结构的桶聚合中复制。
其中耗费大的高达几千字节，所以对于像：

POST _search{
  "aggs": {
    "date": {
      "date_histogram": { "field": "timestamp", "calendar_interval": "day" },
      "aggs": {
        "ips": {
          "terms": { "field": "ip" }
        }
      }
    }
  }
  }

当运行超过三年时，这些聚合仅在桶计算上就耗费几M字节。聚合嵌套层级越深，消耗越大。Elasticsearch移除了这些开销，使得我们可以在低内存环境下运行的更好。
我们为聚合写了相当多的Rally基准测试确保这些测试不会降低聚合的效率，因此现在我们可以更科学的考虑聚合的性能。基准测试表明，这些变化不会影响简单的聚合树，也不会加速与上面例子类似的或者更深层级的复杂聚合树。实际性能变化会有所不同，但是这些改变应给会有帮助。

五、允许在字段功能API中使用索引过滤

现在能在字段功能API中使用 index_filter。如果在每个分片中重写为match_none，则从响应结果中过滤索引。

六、在聚合变换中支持terms和rare_terms

聚合变换现在支持terms和rare_terms。默认是结果按照以下方式进行折叠：

<AGG_NAME>.<BUCKET_NAME>.<SUBAGGS...>...

如果sub-aggregations不存在：

<AGG_NAME>.<BUCKET_NAME>.<_doc_count>

默认情况下，映射也被定义为flattened。这能避免现场爆炸，同时提供有限的搜索和聚合功能。

七、使用date_histograms优化夏令时

当前，包含夏令时转换在切分上的日期舍入比仅在DST转换的一侧包含日期的切分慢得多，而且还会在内存中生成大量短期对象。elasticsearch7.9有一个经过修改且效率更高的实现，它只给请求增加了相对较小的开销。

八、提高网络中断的恢复能力

Elasticsearch现在有一种机制，当网络中断时可以安全恢复，网络中断前进行中的任何对等恢复失败。
为通配符查询优化通配符字段编辑
Elasticsearch现在支持通配符字段类型，它存储类似grep通配符的信息。虽然这样的查询可以用于其他字段类型，但是受到限制，限制了有用性。
这种字段类型特别适合在日志行上运行类似grep的查询。有关详细信息，请参阅通配符数据类型文档。

九、索引指标和背压机制

Elasticsearch 7.9现在跟踪衡量索引过程中每个点（协调、主和复制）的突出的请求字节数。这些衡量方式在node stats API中公开。另外，新的设置indexing_pressure.memory.limit 控制突出的最大字节数，默认为10%。一旦节点堆中的字节数被认为超过索引字节，Elasticsearch将开始拒绝新的协调和主请求。
另外，由于失败的复制操作可能会使副本失败，Elasticsearch将为复制字节数指定1.5倍的限制。只有复制字节可以触发此限制。如果复制字节增加到较高级别，则节点将停止接受新的协调和主操作，直到复制工作负载下降为止。

十、管道聚合推理

在7.6中，我们引入了推理，使您能够通过摄取管道的处理器使用回归或分类模型预测新数据。现在，在7.9中，推理更加灵活！您可以在聚合中引用预先训练的数据帧分析模型，以推断父存储桶聚合的结果字段。聚合使用结果模型进行预测。这个新加的功能使您能够在搜索时运行分类或回归分析。如果要对一小部分数据执行分析，无需在摄取管道中设置处理器，就可以生成预测。