ElasticStack - Heap、Memory 大小与交换

最新推荐文章于 2022-08-18 17:02:36 发布

Lazyafei

最新推荐文章于 2022-08-18 17:02:36 发布

阅读量1.4k

点赞数 1

分类专栏： # ElasticStack 文章标签：搜索引擎 elasticsearch

本文链接：https://blog.csdn.net/tfstone/article/details/121560507

版权

ElasticStack 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

堆内存:大小和交换 | Elasticsearch: 权威指南 | Elastic

Configuration | Elasticsearch Guide [2.4] | Elastic (项目原因，新版自行查看)

限制内存使用 | Elasticsearch: 权威指南 | Elastic

虚拟内存

Elasticsearch默认使用一个 hybrid mmapfs / niofs目录来存储它的索引。操作系统对 mmap 计数的默认限制可能太低，这可能会导致内存不足异常。

在 Linux 上，您可以通过运行以下命令来增加限制：

sysctl -w vm.max_map_count=262144

要永久设置此值，请更新/etc/sysctl.conf 中的vm.max_map_count设置。

ps：If you installed Elasticsearch using a package (.deb, .rpm) this setting will be changed automatically. To verify, run sysctl vm.max_map_count.

vi /etc/sysctl.conf 
vm.max_map_count=655360
sysctl -p

内存设置

大多数操作系统尝试将尽可能多的内存用于文件系统缓存，并急切地换出未使用的应用程序内存，这可能导致弹性搜索进程被交换。交换对性能和节点稳定性非常不利，因此应不惜一切代价避免。

有以下三种选择：

一、禁用交换

最简单的选择是完全禁用交换。通常 Elasticsearch 是唯一运行在机器上的服务，它的内存使用由ES_HEAP_SIZE环境变量控制。应该不需要启用交换。

在Linux系统中，你可以临时停用：

sudo swapoff -a

要永久禁用它，您需要编辑/etc/fstab文件并注释掉swap.

在 Windows 上，可以通过完全禁用分页文件来实现等效的System Properties → Advanced → Performance → Advanced → Virtual memory.

二、配置swappiness

第二个选项是确保将 sysctl 值vm.swappiness设置为0. 这减少了内核交换的倾向，并且在正常情况下不应该导致交换，同时仍然允许整个系统在紧急情况下交换。

从内核版本 3.5-rc1 及更高版本开始，swappiness 设置为0将导致 OOM 杀手终止进程而不是允许交换。您需要设置swappiness为1仍然允许在紧急情况下进行交换。

三、锁定RAM

第三种选择是在 Linux/Unix 系统上使用mlockall，或在 Windows上使用 VirtualLock，尝试将进程地址空间锁定到 RAM 中，防止任何 Elasticsearch 内存被换出。这可以通过将这一行添加到config/elasticsearch.yml文件中来完成：

bootstrap.memory_lock: true

启动 Elasticsearch 后，您可以通过检查mlockall此请求的输出中的值来查看此设置是否成功应用：

curl http://localhost:9200/_nodes/process?pretty

如果您看到的mlockall是false，则表示mlockall 请求失败。在 Linux/Unix 系统上，最可能的原因是运行 Elasticsearch 的用户没有锁定内存的权限。这可以通过ulimit -l unlimited像root启动 Elasticsearch 之前一样运行来授予。

另一个可能mlockall失败的原因是临时目录（通常是/tmp）是用noexec选项挂载的。这可以通过指定一个新的临时目录来解决，方法是启动 Elasticsearch：

./bin/elasticsearch -Djna.tmpdir=/path/to/new/dir

mlockall 如果尝试分配的内存多于可用内存，则可能会导致 JVM 或 shell 会话退出！

堆

Elasticsearch 默认安装后设置的堆内存是 1 GB。对于任何一个业务部署来说，这个设置都太小了。如果你正在使用这些默认堆内存配置，您的集群可能会出现问题

这里有两种方式修改 Elasticsearch 的堆内存。

最简单的一个方法就是指定 ES_HEAP_SIZE 环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。

比如，你可以用下面的命令设置它：

export ES_HEAP_SIZE=10g

The ES_HEAP_SIZE environment variable allows to set the heap memory that will be allocated to elasticsearch java process. It will allocate the same value to both min and max values, though those can be set explicitly (not recommended) by setting ES_MIN_MEM (defaults to 256m), and ES_MAX_MEM (defaults to 1g).

此外，你也可以通过命令行参数的形式，在程序启动的时候把内存大小传递给它，如果你觉得这样更简单的话：

./bin/elasticsearch -Xmx10g -Xms10g

版本原因，可以如下启动：

sudo -u elasticstack ES_JAVA_OPTS="-Xms10g -Xmx10g" ${ES_HOME_PATH}/bin/elasticsearch -d

确保堆内存最小值（ Xms ）与最大值（ Xmx ）的大小是相同的，防止程序在运行时改变堆内存大小，这是一个很耗系统资源的过程。

通常来说，设置 ES_HEAP_SIZE 环境变量，比直接写 -Xmx -Xms 更好一点。

Within the scripts, Elasticsearch comes with built in JAVA_OPTS passed to the JVM started. The most important setting for that is the -Xmx to control the maximum allowed memory for the process, and -Xms to control the minimum allocated memory for the process (in general, the more memory allocated to the process, the better).

Most times it is better to leave the default JAVA_OPTS as they are, and use the ES_JAVA_OPTS environment variable in order to set / change JVM settings or arguments.

在设置 Elasticsearch 堆大小时需要通过 $ES_HEAP_SIZE 环境变量应用两个规则：

不要超过可用 RAM 的 50%

Lucene 能很好利用文件系统的缓存，它是通过系统内核管理的。如果没有足够的文件系统缓存空间，性能会受到影响。此外，专用于堆的内存越多意味着其他所有使用 doc values 的字段内存越少。

不要超过 32 GB

如果堆大小小于 32 GB，JVM 可以利用指针压缩，这可以大大降低内存的使用：每个指针 4 字节而不是 8 字节。

WHY?

Lucene 被设计为可以利用操作系统底层机制来缓存内存数据结构。 Lucene 的段是分别存储到单个文件中的。因为段是不可变的，这些文件也都不会变化，这是对缓存友好的，同时操作系统也会把这些段文件缓存起来，以便更快的访问。

Lucene 的性能取决于和操作系统的相互作用。如果你把所有的内存都分配给 Elasticsearch 的堆内存，那将不会有剩余的内存交给 Lucene。这将严重地影响全文检索的性能。

标准的建议是把 50％的可用内存作为 Elasticsearch 的堆内存，保留剩下的 50％。当然它也不会被浪费，Lucene 会很乐意利用起余下的内存。

如果你不需要对分词字符串做聚合计算（例如，不需要 fielddata ）可以考虑降低堆内存。堆内存越小，Elasticsearch（更快的 GC）和 Lucene（更多的内存用于缓存）的性能越好。

JVM 在内存小于 32 GB 的时候会采用一个内存对象指针压缩技术。

在 Java 中，所有的对象都分配在堆上，并通过一个指针进行引用。普通对象指针（OOP）指向这些对象，通常为 CPU 字长的大小：32 位或 64 位，取决于你的处理器。指针引用的就是这个 OOP 值的字节位置。

对于 32 位的系统，意味着堆内存大小最大为 4 GB。对于 64 位的系统，可以使用更大的内存，但是 64 位的指针意味着更大的浪费，因为你的指针本身大了。更糟糕的是，更大的指针在主内存和各级缓存（例如 LLC，L1 等）之间移动数据的时候，会占用更多的带宽。

Java 使用一个叫作内存指针压缩（compressed oops）的技术来解决这个问题。它的指针不再表示对象在内存中的精确位置，而是表示 偏移量 。这意味着 32 位的指针可以引用 40 亿个对象，而不是 40 亿个字节。最终，也就是说堆内存增长到 32 GB 的物理内存，也可以用 32 位的指针表示。

一旦你越过那个神奇的 ~32 GB 的边界，指针就会切回普通对象的指针。每个对象的指针都变长了，就会使用更多的 CPU 内存带宽，也就是说你实际上失去了更多的内存。事实上，当内存到达 40–50 GB 的时候，有效内存才相当于使用内存对象指针压缩技术时候的 32 GB 内存。

这段描述的意思就是说：即便你有足够的内存，也尽量不要超过 32 GB。因为它浪费了内存，降低了 CPU 的性能，还要让 GC 应对大内存。

Question：到底需要低于 32 GB多少，来设置我的 JVM？

遗憾的是，这需要看情况。确切的划分要根据 JVMs 和操作系统而定。如果你想保证其安全可靠，设置堆内存为 31 GB 是一个安全的选择。另外，你可以在你的 JVM 设置里添加 -XX:+PrintFlagsFinal 用来验证 JVM 的临界值，并且检查 UseCompressedOops 的值是否为 true。对于你自己使用的 JVM 和操作系统，这将找到最合适的堆内存临界值。

例如，我们在一台安装 Java 1.7 的 MacOSX 上测试，可以看到指针压缩在被禁用之前，最大堆内存大约是在 32600 mb（~31.83 gb）：

$ JAVA_HOME=`/usr/libexec/java_home -v 1.7` java -Xmx32600m -XX:+PrintFlagsFinal 2> /dev/null | grep UseCompressedOops
     bool UseCompressedOops   := true
$ JAVA_HOME=`/usr/libexec/java_home -v 1.7` java -Xmx32766m -XX:+PrintFlagsFinal 2> /dev/null | grep UseCompressedOops
     bool UseCompressedOops   = false

相比之下，同一台机器安装 Java 1.8，可以看到指针压缩在被禁用之前，最大堆内存大约是在 32766 mb（~31.99 gb）：

$ JAVA_HOME=`/usr/libexec/java_home -v 1.8` java -Xmx32766m -XX:+PrintFlagsFinal 2> /dev/null | grep UseCompressedOops
     bool UseCompressedOops   := true
$ JAVA_HOME=`/usr/libexec/java_home -v 1.8` java -Xmx32767m -XX:+PrintFlagsFinal 2> /dev/null | grep UseCompressedOops
     bool UseCompressedOops   = false

这个例子告诉我们，影响内存指针压缩使用的临界值，是会根据 JVM 的不同而变化的。所以从其他地方获取的例子，需要谨慎使用，要确认检查操作系统配置和 JVM。

如果使用的是 Elasticsearch v2.2.0，启动日志其实会告诉你 JVM 是否正在使用内存指针压缩。你会看到像这样的日志消息：

[2015-12-16 13:53:33,417][INFO ][env] [Illyana Rasputin] heap size [989.8mb], compressed ordinary object pointers [true]

这表明内存指针压缩正在被使用。如果没有，日志消息会显示 [false] 。

我有一个 1 TB 内存的机器！

这个 32 GB 的分割线是很重要的。那如果你的机器有很大的内存怎么办呢？一台有着 512–768 GB内存的服务器愈发常见。

首先，我们建议避免使用这样的高配机器（参考硬件）。

但是如果你已经有了这样的机器，你有三个可选项：

你主要做全文检索吗？考虑给 Elasticsearch 4 - 32 GB 的内存，让 Lucene 通过操作系统文件缓存来利用余下的内存。那些内存都会用来缓存 segments，带来极速的全文检索。
你需要更多的排序和聚合？而且大部分的聚合计算是在数字、日期、地理点和非分词字符串上？你很幸运，你的聚合计算将在内存友好的 doc values 上完成！给 Elasticsearch 4 到 32 GB 的内存，其余部分为操作系统缓存内存中的 doc values。
你在对分词字符串做大量的排序和聚合（例如，标签或者 SigTerms，等等）不幸的是，这意味着你需要 fielddata，意味着你需要堆空间。考虑在单个机器上运行两个或多个节点，而不是拥有大量 RAM 的一个节点。仍然要坚持 50％原则。

假设你有个机器有 128 GB 的内存，你可以创建两个节点，每个节点内存分配不超过 32 GB。也就是说不超过 64 GB 内存给 ES 的堆内存，剩下的超过 64 GB 的内存给 Lucene。

如果你选择这一种，你需要配置 cluster.routing.allocation.same_shard.host: true 。这会防止同一个分片（shard）的主副本存在同一个物理机上（因为如果存在一个机器上，副本的高可用性就没有了）。

Lazyafei

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ElasticStack - Heap、Memory 大小与交换

堆内存:大小和交换 | Elasticsearch: 权威指南 | ElasticConfiguration | Elasticsearch Guide [2.4] | Elastic(项目原因，新版自行查看)环境变量Elasticsearch 默认安装后设置的堆内存是 1 GB。对于任何一个业务部署来说，这个设置都太小了。如果你正在使用这些默认堆内存配置，您的集群可能会出现问题。这里有两种方式修改 Elasticsearch 的堆内存。最简单的一个方法就是指定ES_HEA..
复制链接

扫一扫