Elasticsearch 8 正式发布 新特性来了

摘要：

       Elasticsearch 是一个基于 Lucene 库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎，具有 HTTP Web 接口和无模式 JSON 文档。Elasticsearch 是用 Java 开发的，并在 Apache 许可证下作为开源软件发布。官方客户端在 Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby 和许多其他语言中都是可用的。

       Elastic 8.0 版通过改进 Elasticsearch 的矢量搜索功能、对现代自然语言处理模型的原生支持、不断简化的数据上线过程，以及精简的安全防护体验，在速度、扩展幅度、相关性和简便性方面，迎来了一个全新的时代。

1、速度、扩展和相关性

       速度、扩展和相关性方面进入了一个全新的 Elastic 8.0 时代，减少内存使用（从而让每个节点托管更多的数据），降低查询开销（在大规模部署中成效尤为明显），引入一些全新的功能来提高相关性。

2、通过原生矢量搜索提高搜索相关性

      Elastic 8.0 版引入了一整套原生矢量搜索功能，让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果。

     在 Elasticsearch 8.0 版中，我们将对自然语言处理 (NLP) 模型的原生支持直接引入了 Elasticsearch，让矢量搜索功能更容易实现。此外，Elasticsearch 8.0 版还包含了对近似最近邻 (ANN) 搜索的原生支持，因此可以快速且大规模地比较基于矢量的查询与基于矢量的文档语料库。

3、强大的 NLP 功能打开全新的分析世界

     Elasticsearch 始终是执行 NLP 的理想之选，但过去它需要在 Elasticsearch 之外进行一些处理，或编写一些相当复杂的插件。在 8.0 版中，用户现在可以直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等，而无需使用额外的组件或进行编码。在 Elasticsearch 中原生计算和创建矢量，不仅在水平可扩展性方面取得了“胜利”（通过在服务器集群中分布计算资源来实现），这一变化还为 Elasticsearch 用户显著节省了时间和精力。

      在 Elastic 8.0 版中，用户可以直接在 Elasticsearch 中使用 PyTorch Machine Learning 模型（如 BERT），并在 Elasticsearch 中原生使用这些模型执行推理。这些模型可以是您自己的定制模型，也可以是在 Hugging Face 等资源库中向社区发布的模型。

      通过支持用户直接在 Elasticsearch 中执行推理，将强大的现代 NLP 功能整合到搜索应用程序和体验变得比以往更加容易（想想看：无需编码），本质上更加高效（得益于 Elasticsearch 的分布式计算功能），而且 NLP 本身的速度也会显著加快，因为您无需将数据移动到单独的进程或系统中。

4、快速、大规模搜索

       因为 Elastic 8.0 版是基于 Lucene 9.0 开发的，那些利用现代 NLP 的搜索体验，都可以借助（新增的）对近似最近邻搜索的原生支持，快速且大规模地实现。通过 ANN，可以快速并高效地将基于矢量的查询与基于矢量的文档语料库（无论是小语料库、大语料库还是巨型语料库）进行比较。

5、重要更新

• （1）Rest API相比较7.x而言做了比较大的改动（比如彻底删除_type），为了降低用户的升级成本，8.x会暂时的兼容7.x的请求。
• （2）默认开启安全配置（三层安全），并极大简化了开启安全需要的工作量，可以这么说：7.x开启安全需要10步复杂的步骤比如CA、证书签发、yml添加多个配置等等，8.x只需要一步即可）。
• （3）存储空间优化：更新了倒排索引，对倒排文件使用新的编码集，对于keyword、match_only_text、text类型字段有效，有3.5%的空间优化提升，对于新建索引和segment自动生效。
• （4）优化geo_point，geo_shape类型的索引（写入）效率：15%的提升。
• （5）新特性：支持上传pyTorch模型，在ingest的时候使用。比如在写入电影评论的时候，如果我们想要知道这个评论的感情正负得分，可以使用对应的AI感情模型对评论进行运算，将结果一并保存在ES中。
• （6）技术预览版KNN API发布，（K邻近算法），跟推荐系统、自然语言排名相关。之前的KNN是精确搜索，在大数据集合的情况会比较慢，新的KNN提供近似KNN搜索，以提高速度。
• （7）对ES内置索引的保护加强了：elastic用户默认只能读，如果需要写权限的时候，需有allow_restrict_access权限。

6、运行条件

       需要 Java 17 才能运行 Elasticsearch。

参考文章：

Elasticsearch8.0新特性概览 - Elastic 中文社区

Elastic 8.0 版：在速度、扩展、高相关性和简单性方面开启了一个全新的时代 | Elastic Blog