生产集群设置Elasticsearch 7.10

最新推荐文章于 2024-05-04 18:10:35 发布

MaxCode-1

最新推荐文章于 2024-05-04 18:10:35 发布

阅读量530

点赞数

分类专栏： Elasticsearch 文章标签： ES elasticsearch

本文链接：https://blog.csdn.net/u012743772/article/details/111255281

版权

Elasticsearch 专栏收录该内容

5 篇文章 9 订阅

订阅专栏

文章目录

生产集群设置Elasticsearch 7.10

索引管理设置

您可以使用以下群集设置来启用或禁用索引管理功能。

action.auto_create_index

（动态）自动创建索引（如果尚不存在）并应用任何已配置的索引模板。默认为true。

action.destructive_requires_name

（动态）设置为时true，必须指定索引名称才能删除索引。不能_all使用通配符删除所有索引，也不能使用通配符wildcards。

cluster.indices.close.enable

（动态）允许在Elasticsearch中打开封闭索引。您可以临时启用此设置，以更改现有索引的分析器配置。false否则，我们强烈建议将此设置保留为（默认值）。

封闭索引具有数据丢失的风险，因为在进行集群配置更改（例如扩展到不同容量，故障转移和许多其他操作）时，不包含封闭索引。此外，封闭的索引可能会导致磁盘空间计数不正确。

reindex.remote.whitelist

（静态）指定可以从远程重新索引的主机。需要一个YAMLhost:port字符串数组。由逗号分隔的host:port条目列表组成。默认为["*.io:", "*.com:"].

索引恢复设置

对等恢复将数据从主分片同步到新的或现有的分片副本。

当Elasticsearch发生以下情况时，将自动进行对等恢复：

重新创建在节点故障期间丢失的碎片
由于集群重新平衡或更改了分片分配设置，将分片重新定位到另一个节点
您可以使用cat recovery API查看正在进行的恢复和已完成的恢复的列表。

节点查询缓存设置

筛选器上下文中使用的查询结果缓存在节点查询缓存中，以进行快速查找。每个节点都有一个由所有分片共享的查询缓存。缓存使用LRU逐出策略：当缓存已满时，会将最近使用最少的查询结果逐出，以腾出空间来存放新数据。您无法检查查询缓存的内容。

默认情况下，缓存最多可容纳10000个查询，最多占总堆空间的10％。为了确定查询是否适合缓存，Elasticsearch维护查询历史记录以跟踪事件。

如果一个段至少包含10000个文档，并且该段至少具有一个分片的文档总数的3％，则按每个段进行缓存。由于缓存是按段划分的，因此合并段可使缓存的查询无效。

以下设置是静态的，并且必须在集群中的每个数据节点上进行配置：

indices.queries.cache.size

（静态）控制过滤器缓存的内存大小。接受百分比值（例如5%）或精确值（例如）512mb。默认为10%。

查询缓存索引设置

以下设置是可以基于每个索引配置的索引设置。只能在索引创建时或在封闭索引上设置：

index.queries.cache.enabled

（静态）控制是否启用查询缓存。接受true（默认）或 false。

搜索设置

可以设置以下专家设置来管理全局搜索和聚合限制。

indices.query.bool.max_clause_count

（静态，整数）Lucene BooleanQuery可以包含的子句的最大数量。默认为1024。

此设置限制了Lucene BooleanQuery可以具有的子句数。默认值1024非常高，通常应该足够。此限制不仅会影响Elasticsearch的bool查询，而且还会在内部将许多其他查询重写为Lucene的BooleanQuery。该限制是为了防止搜索太大而占用过多的CPU和内存。如果您正在考虑增加此设置，请确保已用尽所有其他选项，以避免必须这样做。较高的值可能导致性能下降和内存问题，尤其是在负载较高或资源很少的群集中。

search.max_buckets

（动态，整数）单个响应中允许的最大聚合桶数。默认为10000。

尝试返回超过此限制的请求将返回错误。

缓存失效

缓存是智能的-保持与未缓存搜索几乎相同的实时承诺。

每当分片刷新时，缓存结果都会自动失效，但前提是分片中的数据实际上已更改。换句话说，您始终会从缓存中获得与未缓存的搜索请求相同的结果。

刷新间隔越长，缓存的条目将保持有效的时间越长。如果缓存已满，将驱逐最近最少使用的缓存键。

缓存可以使用clear-cacheAPI手动过期：

POST /x-index1,x-index2/_cache/clear?request=true

启用和禁用缓存

缓存默认情况下处于启用状态，但是在创建新索引时可以将其禁用，如下所示：

PUT /x-index1
{
  "settings": {
    "index.requests.cache.enable": false
  }
}

启用和禁用每个请求的缓存

的request_cache查询字符串参数可用于启用或禁用缓存每个请求基础。如果设置，它将覆盖索引级别的设置：

GET /x-index1/_search?request_cache=true
{
  "size": 0,
  "aggs": {
    "popular_colors": {
      "terms": {
        "field": "colors"
      }
    }
  }
}

size即使在索引设置中启用了请求缓存，大于0的请求也不会被缓存。要缓存这些请求，您将需要使用此处详细说明的query-string参数。

缓存设置

缓存是在节点级别管理的，并且具有1% 堆的默认最大大小。可以使用以下命令在config/elasticsearch.yml文件中进行更改：

indices.requests.cache.size: 2%

监视缓存使用情况

缓存的大小（以字节为单位）和逐出的数量可以使用indices-statsAPI通过索引查看：

GET /_stats/request_cache?human

或按节点使用nodes-statsAPI：

GET /_nodes/stats/indices/request_cache?human

重要的Elasticsearch配置

Elasticsearch只需很少的配置即可上手，但是在生产环境中使用集群之前，必须考虑许多事项：

路径设定
集群名称设置
节点名称设置
网络主机设置
发现设置
堆大小设置
JVM堆转储路径设置
GC日志记录设置
临时目录设置
JVM致命错误日志设置
集群备份
我们的Elastic Cloud服务会自动配置这些项目，默认情况下使您的集群可以投入生产。

路径设定

path:
  data: /var/data/elasticsearch
  logs: /var/log/elasticsearch

如果需要，您可以在中指定多个路径path.data。Elasticsearch跨所有提供的路径存储节点的数据，但将每个分片的数据保留在同一路径上。

Elasticsearch不会在节点的数据路径之间平衡分片。单个路径中的高磁盘使用率会触发整个节点的高磁盘使用率水印。如果被触发，即使节点的其他路径具有可用的磁盘空间，Elasticsearch也不会将分片添加到节点。如果需要额外的磁盘空间，建议您添加一个新节点，而不是其他数据路径。

path:
  data:
    - /mnt/elasticsearch_1
    - /mnt/elasticsearch_2
    - /mnt/elasticsearch_3

集群名称设置

当cluster.name节点与集群中的所有其他节点共享节点时，它只能加入集群。默认名称为elasticsearch，但您应将其更改为描述群集用途的适当名称。

cluster.name: logging-prod

节点名称设置

Elasticsearch将Elasticsearchnode.name的特定实例用作人类可读的标识符。此名称包含在许多API的响应中。Elasticsearch启动时，节点名称默认为计算机的主机名，但可以在以下位置中显式配置 elasticsearch.yml：

node.name: prod-data-2

发现和集群形成设置

在投入生产之前，请配置两个重要的发现和集群形成设置，以便集群中的节点可以彼此发现并选举一个主节点。

discovery.seed_hosts

开箱即用，无需任何网络配置，Elasticsearch将绑定到可用的环回地址并扫描本地端口9300以9305与同一服务器上运行的其他节点连接。此行为无需进行任何配置即可提供自动群集体验。

如果要与其他主机上的节点组成集群，请使用静态 discovery.seed_hosts设置。此设置提供了群集中其他主机节点的列表，这些节点具有主机资格，并且可能处于活动状态并且可以联系以播种发现过程。此设置接受群集中所有符合主机资格的节点的YAML序列或地址数组。每个地址可以是IP地址，也可以是通过DNS解析为一个或多个IP地址的主机名。

discovery.seed_hosts:
   - 192.168.1.10:9300
   - 192.168.1.11 
   - seeds.mydomain.com 
   - [0:0:0:0:0:ffff:c0a8:10c]:9301

该端口是可选的，默认为9300，但可以被覆盖。
如果主机名解析为多个IP地址，则该节点将尝试在所有解析的地址处发现其他节点。
IPv6地址必须放在方括号中。

堆大小设置

默认情况下，Elasticsearch告诉JVM使用最小和最大大小为1 GB的堆。在进入生产阶段时，配置堆大小以确保Elasticsearch有足够的可用堆非常重要。

Elasticsearch将通过（最小堆大小）和（最大堆大小）设置分配jvm.options中指定的整个堆。这两个设置必须彼此相等。XmsXmx

这些设置的值取决于服务器上可用的RAM数量：

设置Xmx和Xms你的物理内存不超过50％。Elasticsearch出于JVM堆以外的目的而需要内存，因此为此留出空间很重要。例如，Elasticsearch使用堆外缓冲区来进行有效的网络通信，依靠操作系统的文件系统缓存来有效地访问文件，并且JVM本身也需要一些内存。观察Elasticsearch过程使用的内存多于该Xmx设置配置的限制，这是正常的。
设置Xmx并且Xms不超过JVM用于压缩对象指针（压缩oop）的阈值。确切的阈值有所不同，但接近32 GB。您可以通过在日志中查找如下一行来验证您是否处于阈值以下：

heap size [1.9gb], compressed ordinary object pointers [true]

设置Xmx并且Xms不超过基于零的压缩oop的阈值。确切的阈值会有所不同，但在大多数系统上26 GB是安全的，在某些系统上可能高达30 GB。您可以通过使用JVM选项启动Elasticsearch-XX:+UnlockDiagnosticVMOptions -XX:+PrintCompressedOopsMode并查找类似于以下内容的行来验证您是否处于此阈值以下：

heap address: 0x000000011be00000, size: 27648 MB, zero based Compressed Oops

此行显示启用了从零开始的压缩oop。如果未启用从零开始的压缩oop，则会看到类似以下内容的行：

heap address: 0x0000000118400000, size: 28672 MB, Compressed Oops with base: 0x00000001183ff000

Elasticsearch可用的堆越多，它可用于其内部缓存的内存就越多，但可供操作系统用于文件系统缓存的内存就越少。同样，较大的堆可能导致较长的垃圾回收暂停。

这是一个如何通过jvm.options.d/文件设置堆大小的示例：

-Xms2g
-Xmx2g

将最小堆大小设置为2g。
将最大堆大小设置为2g。

GC日志记录设置

默认情况下，Elasticsearch启用垃圾收集（GC）日志。它们jvm.options在Elasticsearch日志中配置并输出到相同的默认位置。默认配置每64 MB轮换一次日志，最多可消耗2 GB磁盘空间。

您可以使用JEP 158：Unified JVM Logging中描述的命令行选项重新配置JVM日志记录。除非您jvm.options直接更改默认文件，否则除了您自己的设置外，还将应用Elasticsearch默认配置。要禁用默认配置，请首先通过提供-Xlog:disable选项来禁用日志记录，然后提供您自己的命令行选项。这将禁用所有JVM日志记录，因此请确保检查可用选项并启用所需的所有功能。

例子
/opt/my-app/gc.log通过创建$ES_HOME/config/jvm.options.d/gc.options一些示例选项，将默认GC日志输出位置更改为：

# Turn off all previous logging configuratons关闭所有以前的日志configuraton
-Xlog:disable

# Default settings from JEP 158, but with `utctime` instead of `uptime` to match the next line
-Xlog:all=warning:stderr:utctime,level,tags

# Enable GC logging to a custom location with a variety of options自定义位置
-Xlog:gc*,gc+age=trace,safepoint:file=/opt/my-app/gc.log:utctime,pid,tags:filecount=32,filesize=64m

重要的Elasticsearch系统配置

ulimit

在Linux系统上，ulimit可用于临时更改资源限制。通常需要像root切换到将要运行Elasticsearch的用户之前那样设置限制。例如，要将打开的文件句柄（ulimit -n）的数量设置为65,536，可以执行以下操作：

 sudo su  
 ulimit -n 65535 
 su elasticsearch

您可以通过查阅所有当前应用的限制ulimit -a。

/etc/security/limits.conf

在Linux系统上，可以通过编辑/etc/security/limits.conf文件为特定用户设置持久限制。要将elasticsearch用户打开的最大文件数设置为65,535，请在limits.conf文件中添加以下行：

elasticsearch - nofile 65535

Ubuntu会忽略该limits.conf文件以启动的进程init.d。要启用limits.conf文件，请编辑/etc/pam.d/su并取消注释以下行：

# session    required   pam_limits.so

禁用swap

大多数操作系统尝试为文件系统缓存使用尽可能多的内存，并急切换出未使用的应用程序内存。这可能导致JVM堆的一部分甚至其可执行页面换出到磁盘上。

swap对性能，节点稳定性非常不利，应不惜一切代价避免swap。它可能导致垃圾回收持续几分钟而不是毫秒，并且可能导致节点响应缓慢甚至断开与群集的连接。在弹性分布式系统中，让操作系统杀死该节点更为有效。

有三种禁用swap的方法。首选选项是完全禁用swap。如果这不是一个选择，则是否要尽量减少swap性而不是内存锁定取决于您的环境。

在Linux系统上，可以通过运行以下命令暂时禁用交换：

sudo swapoff -a

这不需要重启Elasticsearch。

要永久禁用它，您将需要编辑/etc/fstab文件并注释掉所有包含单词的行swap。

在Windows上，可以通过完全禁用分页文件来实现等效功能System Properties → Advanced → Performance → Advanced → Virtual memory。

文件描述符

这仅与Linux和macOS有关，如果在Windows上运行Elasticsearch，则可以安全地忽略它。在Windows上，JVM使用仅受可用资源限制的 API。

Elasticsearch使用许多文件描述符或文件句柄。文件描述符用尽可能是灾难性的，很可能导致数据丢失。确保将运行Elasticsearch的用户的打开文件描述符数量限制增加到65,536或更高。

在macOS上，您还必须将JVM选项传递-XX:-MaxFDLimit 给Elasticsearch，以使其使用更高的文件描述符限制。

RPM和Debian软件包已经默认将文件描述符的最大数量设置为65535，并且不需要进一步配置。

您可以max_file_descriptors使用Nodes stats API检查每个节点的配置，其中包括：

GET _nodes/stats/process?filter_path=**.max_file_descriptors

虚拟内存

Elasticsearchmmapfs默认使用目录来存储其索引。默认的操作系统对mmap计数的限制可能太低，这可能会导致内存不足异常。

在Linux上，您可以通过运行以下命令来增加限制 root：

sysctl -w vm.max_map_count=262144

要永久设置此值，请更新中的vm.max_map_count设置 /etc/sysctl.conf。要在重启后进行验证，请运行sysctl vm.max_map_count。

RPM和Debian软件包将自动配置此设置。不需要进一步的配置。

DNS缓存设置

Elasticsearch在适当的位置运行安全管理器。有了安全管理器，JVM默认将无限期地缓存正主机名解析，并且默认将负主机名解析缓存十秒钟。Elasticsearch使用默认值覆盖此行为，以将正向查找缓存六十秒，并将负向查找缓存十秒。这些值应适用于大多数环境，包括DNS分辨率随时间变化的环境。如果没有，您可以在JVM选项中编辑值es.networkaddress.cache.ttl和es.networkaddress.cache.negative.ttl. 在 Java安全策略由Elasticsearch忽略，除非你删除的设置

 networkaddress.cache.ttl=<timeout> and networkaddress.cache.negative.ttl=<timeout>

TCP重传超时

群集中的每对节点都通过许多TCP连接进行通信，这些TCP连接保持打开状态，直到一个节点关闭或由于基础结构故障导致节点之间的通信中断。

通过隐藏通信应用程序中的临时网络中断，TCP可以在偶尔不可靠的网络上提供可靠的通信。在通知发件人任何问题之前，您的操作系统将多次重发丢失的消息。大多数Linux发行版默认将任何丢失的数据包重传15次。重新传输以指数方式回退，因此这15次重新传输需要900秒钟以上的时间才能完成。这意味着使用这种方法，Linux需要花费几分钟的时间来检测网络分区或故障节点。Windows默认仅重传5次，相应的超时时间约为6秒。

Linux默认设置允许通过可能遭受很长数据包丢失的网络进行通信，但是对于大多数Elasticsearch集群而言，此默认设置对于单个数据中心内的生产网络而言过于昂贵。高可用性群集必须能够快速检测节点故障，以便它们可以通过重新分配丢失的碎片，重新路由搜索以及可能选择一个新的主节点来迅速做出反应。因此，Linux用户应减少TCP重传的最大次数。

您可以5通过运行以下命令来减少最大TCP重传次数root。五次重传对应于大约六秒钟的超时。

sysctl -w net.ipv4.tcp_retries2=5

要永久设置此值，请更新中的net.ipv4.tcp_retries2设置 /etc/sysctl.conf。要在重启后进行验证，请运行 sysctl net.ipv4.tcp_retries2。

此设置适用于所有TCP连接，并且也会影响与群集外部系统的通信可靠性。如果您的群集通过不可靠的网络与外部系统通信，则可能需要为选择一个更高的值net.ipv4.tcp_retries2。因此，Elasticsearch不会自动调整此设置。

最大线程数检查编辑

Elasticsearch通过将请求分解为多个阶段并将这些阶段交给不同的线程池执行程序来执行请求。Elasticsearch中有各种任务的不同线程池执行程序。因此，Elasticsearch需要具有创建大量线程的能力。检查最大线程数可确保Elasticsearch进程有权在正常使用下创建足够的线程。仅在Linux上强制执行此检查。如果您使用的是Linux，要通过最大线程数检查，必须将系统配置为允许Elasticsearch进程创建至少4096个线程。这可以通过/etc/security/limits.conf 使用nproc设置来完成（请注意，您可能还必须增加root用户的限制）。

最大文件大小检查编辑

作为单个分片的组成部分的段文件以及作为跨记录的组成部分的跨记录世代可能会变得很大（超过数GB）。在Elasticsearch流程可以创建的文件的最大大小受到限制的系统上，这可能导致写入失败。因此，这里最安全的选择是最大文件大小不受限制，这就是最大文件大小引导检查强制执行的内容。要通过最大文件检查，您必须将系统配置为允许Elasticsearch进程写入无限大小的文件的能力。这可以通过 /etc/security/limits.conf使用fsize设置来完成unlimited（请注意，您可能也必须增加root用户的限制）。

虚拟内存最大大小检查编辑

Elasticsearch和Lucenemmap很有用，可以将索引的某些部分映射到Elasticsearch地址空间中。这将某些索引数据保留在JVM堆之外，但保留在内存中，以实现快速访问。为了使其有效，Elasticsearch应该具有无限的地址空间。虚拟内存的最大大小检查要求Elasticsearch进程具有无限的地址空间，并且仅在Linux上强制执行。要通过最大大小的虚拟内存检查，您必须将系统配置为允许Elasticsearch进程具有无限的地址空间。可以通过添加到来 - as unlimited 完成/etc/security/limits.conf。这可能还需要您增加root用户的限制。

作为守护程序运行

要将Elasticsearch作为守护程序运行，请-d在命令行上指定，然后使用以下-p选项将进程ID记录在文件中：

./bin/elasticsearch -d -p pid

要关闭Elasticsearch，请终止pid文件中记录的进程ID ：

pkill -F pid

停止Elasticsearch

Elasticsearch的有序关闭可确保Elasticsearch有机会清理和关闭未使用的资源。

$ ./bin/elasticsearch -p /tmp/elasticsearch-pid -d
$ cat /tmp/elasticsearch-pid && echo
15516
$ kill -SIGTERM 15516

在集群中添加和删除节点

当启动Elasticsearch实例时，即在启动node。Elasticsearch集群是一组具有相同cluster.name属性的节点。当节点加入或离开群集时，群集会自动进行重组，以在可用节点之间平均分配数据。

如果您运行的是Elasticsearch的单个实例，那么您将拥有一个节点的集群。所有主分片都驻留在单个节点上。无法分配副本分片，因此群集状态保持黄色。群集可以完全正常运行，但是如果发生故障，则存在数据丢失的风险。

默认情况下，节点既是数据节点，又有资格被选为控制群集的主节点。

集群重启操作

1、禁用分片分配。

当您关闭节点时，分配过程将等待 index.unassigned.node_left.delayed_timeout一分钟（默认情况下为一分钟），然后再开始将该节点上的分片复制到集群中的其他节点，这可能会涉及大量I / O。由于该节点不久将要重新启动，因此该I / O是不必要的。您可以通过在关闭节点之前禁用副本分配来避免争分夺秒：

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.enable": "primaries"
  }
}

2、停止索引编制并执行同步刷新。

执行同步刷新可加快分片恢复。

POST _flush/synced

3、暂时停止与活动的机器学习作业和数据馈送相关的任务。（可选的）

机器学习功能需要特定的订阅。

关闭集群时，有两个选项可以处理机器学习作业和数据馈送：

通过使用设置的升级模式API暂时停止与您的机器学习作业和数据馈送相关的任务，并阻止新作业打开：

POST _ml/set_upgrade_mode?enabled=true

禁用升级模式时，作业将使用自动保存的上一个模型状态恢复。此选项避免了在关闭期间管理活动作业的开销，并且比显式停止数据馈送和关闭作业要快。

停止所有数据馈送并关闭所有作业。此选项在关闭时保存模型状态。在群集重新启动后重新打开作业时，它们使用完全相同的模型。但是，保存最新的模型状态要比使用升级模式花费更多的时间，尤其是当您有很多作业或具有较大模型状态的作业时。

4、关闭所有节点。

如果您使用以下命令运行Elasticsearch systemd：

sudo systemctl stop elasticsearch.service

如果您正在使用SysV运行Elasticsearch init：

sudo -i service elasticsearch stop

如果您将Elasticsearch作为守护程序运行：

kill $(cat pid)

5、执行任何需要的更改。

6、重新启动节点。

如果您有专用的主节点，请先启动它们，然后等待它们形成集群并选举一个主节点，然后再继续处理数据节点。您可以通过查看日志来检查进度。

一旦有足够的符合主机资格的节点相互发现，它们就会形成一个集群并选举一个主机。那时，您可以使用cat health和cat node API监视加入集群的节点：

GET _cat/health

GET _cat/nodes

该status列中返回通过_cat/health显示每个节点的健康集群中：red，yellow，或green。

7、等待所有节点加入群集，并报告黄色状态。

当节点加入集群时，它开始恢复本地存储的所有主分片。该_cat/healthAPI最初将报告status中red，表明并非所有的初级碎片已被分配。

一旦节点恢复了其本地分片，集群status就会切换到 yellow，表示所有主分片都已恢复，但并非所有副本分片都已分配。这是可以预期的，因为您尚未重新启用分配。将副本的分配延迟到所有节点都yellow可用后，主服务器便可以将副本分配给已经具有本地分片副本的节点。

8、重新启用分配。

当所有节点都已加入集群并恢复了其主要分片后，可通过恢复cluster.routing.allocation.enable为其默认值来重新启用分配：

curl -X PUT "localhost:9200/_cluster/settings?pretty" -H 'Content-Type: application/json' -d'
{
  "persistent": {
    "cluster.routing.allocation.enable": null
  }
}

9、重新启用分配后，集群便开始将副本分片分配给数据节点。此时，恢复索引和搜索是安全的，但是如果您可以等待直到成功分配了所有主分片和副本分片并且所有节点的状态为，集群就会恢复得更快green。

您可以使用_cat/health和 _cat/recoveryAPI监视进度：

GET _cat/health

GET _cat/recovery

滚动重启

https://www.elastic.co/guide/en/elasticsearch/reference/current/restart-cluster.html

MaxCode-1

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
5
评论
生产集群设置Elasticsearch 7.10

生产集群设置Elasticsearch 7.10文章目录生产集群设置Elasticsearch 7.10索引管理设置索引恢复设置节点查询缓存设置查询缓存索引设置搜索设置缓存失效启用和禁用缓存启用和禁用每个请求的缓存缓存设置监视缓存使用情况重要的Elasticsearch配置路径设定集群名称设置节点名称设置发现和集群形成设置堆大小设置GC日志记录设置重要的Elasticsearch系统配置ulimit禁用swap文件描述符虚拟内存DNS缓存设置TCP重传超时最大线程数检查编辑最大文件大小检查编辑虚拟内存最大
复制链接

扫一扫