云计算平台(检索篇)-Elasticsearch-JVM设置篇(译)

最新推荐文章于 2023-06-06 09:34:18 发布
最新推荐文章于 2023-06-06 09:34:18 发布
阅读量8.6k 收藏 2
点赞数
分类专栏： java

原文链接:

 http://jprante.github.com/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html

         从2006年的java6 到现在java7无论是性能或其它方面都有了很大的改进，我们没有理由不在使用Java7,我个人也认为java7在内存方面比java6优秀.

         这使我有对java6和java7及es在jvm设置有了很大的趣兴，因此写一篇博文一探其中之道。

         Es已经预先为我们的JVM进行了一些设置，而且这些设置都是比较好的，现在这方面的设置也非常小心，因此你不需要关心jvm的设置就可以马上使用ES,这大概就是所谓的开箱即使吧。

         但我们也可能jvm进行一些自己的设置，以使其能被监测或是改善你的ES Cluster中的node的一些性能。

         这篇博文试图阐明ES中的预配置和讨论最常见的一些调整，最后给出如何进行调优。

ES JVM 设置

JVM参数

ES默认值

环境变量名

-Xms

256m

 

-Xmx

1g

 

-Xms   and –Xmx

 

 

-Xmn

 

 

-XX:MaxDirectMemorySize

 

 

-Xss

256k

 

-XX:UseParNewGC

+

 

-XX:UseConcMarkSweepGC

+

 

             
   

-XX:CMSInitiatingOccupancyFraction

   		    

75

   

 

75

 

-XX:UseCMSInitiatingOccupancyOnly

 

 

-XX:UseCondCardMark

 

 

 

         我们可以注意到ES JVM Heap内存设置为在256M在1GB之间.

         这个设置是为在开发和示范环境中使用的,开发人员可以通过简单地安装ES就可以使用了，但是这样的内存设置在很多情况下都是不够用的，我在需要设置更大的值。

         

             

(JVM)

         ES_MIN_MEM/ES_MAX_MEM 用于控制jvm的堆内存，另外还有ES_HEAP_SEIZ,这样我可以设置更多的堆内存用于ES,另外建议不在启动内存堆平衡，因为这样会浪费很大的性能。

         ES_HEAP_NEWSIZE这个参数用于控制堆内存的子集，即新生代堆控制

         ES_DIRECT_SIZE，我们可以对应到Direct Memory Size这个参数，在JVM管理数据中使用的是NIO，本机内存可以映射到虚拟地址空间，在X64的架构上更有效，在ES中没有选择进行设置，但是有一个问题，本机直接内存的分配不会受到Java堆大小的限制，但是即然是内存那肯定还是要受到本机物理内存（包括SWAP区或者Windows虚拟内存）的限制的，一般服务器管理员配置JVM参数时，会根据实际内存设置-Xmx等参数信息，但经常忽略掉直接内存，使得各个内存区域总和大于物理内存限制（包括物理的和操作系统级的限制），而导致动态扩展时出现OutOfMemoryError异常。

         下面例出一些JVM参数设置

JVM parameter                                    Garbage collector

-XX:+UseSerialGC                                serial collector

-XX:+UseParallelGC                             parallel collector

-XX:+UseParallelOldGC                      Parallel compacting collector

-XX:+UseConcMarkSweepGC         Concurrent-Mark-Sweep ( CMS ) collector

-XX:+UseG1GC         Garbage-First                   collector (G1)

UseParNewGC和UseConcMarkSweepGC是结并并行和行发性的垃圾回收机制，在JAVA6中将默认为UserParNewGC和UseGoncMarkSweepGC并禁用串行收集器.

         CMSInitiatingOccupancyFraction  垃圾回收，这个75是指，到heap占用到75%时开发进行清理，我们知道堆分为新生代和老年代两块可新生代一块为老年代的两倍，也许在没有达到75%时也可能进行垃圾回收。

       UseCondCardMark  将在在高度并发的情况下，将些值注释掉

总结：

       1、修改MAX 和MIN Heap大小设置。

         2、设置垃圾回收百分比

         3、如果在JAVA7中禁用默认的G1垃圾回收机制。

JVM进程的内存结构

 

JVM内存分为如下几段：

         JVM CODE用于内部代码存放

         Noe-heap memory用于加载类

         Stack memory 用于存放本地变量和线程操作数

         Heap memory 存放引用类型对象

         Direct Buffer，缓冲输入，输出数据   

         Heap memory大小设置是非常重要的，因为java的运行取决于一个合理的heap的大小,如果设置太小，在许多垃圾回收或是高性能的情况下就会出现OutOfMemory异常。如果堆太大，垃圾回收将需要更大的数据，该算法将要面对更高数量的存活堆，这样操作系统也会面对较大的压力。

         Non-heap内存分配是由java应用程序自动设置的，没有办法控制这个参数，因为它是由JAVA应用程序代码决定的。

垃圾回收与Lucene段

        在ES中的垃圾回收器是集用的CMS垃圾回收，这种回收器不是提高敢回收的效率可是降低了回收的次数，但是面对比较大的数据集合时，这种回收可能需要的时间更长。

         而这种大的数据集合主要是在Lucene的索引中，因些可以将索引的段进行一行调优工作，提高GC的效率。

index.merge.policy.segments_per_tier

减少分页

         在大堆内存的情况下，如果内存不足时会与操作系统的SWAP空间进行分页数据的交换，但是这种交换是非常慢的，这种会降低整体性能。

垃圾回收器的选择

JAVA 7中的默认是G1垃圾回收器，这种回收器和CMS回收相对，他在于处理吞吐量，但是如果在大堆的情况下CMS回收器在性能上将超过G1.

性能调优策略

1、  收集日志

2、  对日志进行分析

3、  选择你要优化的目标

4、  计划优化

5、  应用新有设置

6、  监控程序在新设置后的运行情况

7、  反复试尝

ES 垃圾回收日志格式

将日志等级调用警告在垃圾回收时你能看到如下信息:

[2012-11-26 18:13:53,166][WARN ][monitor.jvm              ] [Ectokid] [gc][ParNew][1135087][11248] duration [2.6m], collections [1]/[2.7m], total [2.6m]/[6.8m], memory [2.4gb]->[2.3gb]/[3.8gb], all_pools {[Code Cache] [13.7mb]->[13.7mb]/[48mb]}{[Par Eden Space] [109.6mb]->[15.4mb]/[1gb]}{[Par Survivor Space] [136.5mb]->[0b]/[136.5mb]}{[CMS Old Gen] [2.1gb]->[2.3gb]/[2.6gb]}{[CMS Perm Gen] [35.1mb]->[34.9mb]/[82mb]}

LogFile

说明

Gc

垃圾回收运行

ParNew

新生代垃圾回收器

duration 2.6m

垃圾回收花费时间

collections [1]/[2.7m]

一个收集器运行花费2.7M

memory [2.4gb]

预设2.4GB

[2.3gb]/[3.8gb]

现在使用2.3GB/总共3.8GB

Code Cache [13.7mb]->[13.7mb]/[48mb]

代码缓存

Par Eden Space [109.6mb]->[15.4mb]/[1gb]

Par   Eden Space使用空间

Par Survivor Space[136.5mb]->[0b]/[136.5mb]

Par   Survivor Space

CMS Old Gen [2.1gb]->[2.3gb]/[2.6gb]

CMS Old Gen

CMS Perm Gen [35.1mb]->[34.9mb]/[82mb]

CMS Perm Gen

 

建议：

1、ES不要运行在6U22之前因之多版本的JDK存在许多的bug,尽量使用Sun/Oracle比较最出的JDK6-7因为里面修复很多bug.

         如果在JAVA7正式发布的情况下最好使用JDK7(不过要到2013了)

2、考虑到ES是一个比较新的软件，利用最先的技术来获取性能，尽量从JVM中来挤压性能，另外检索您的操作系统是否是最新版的，尽量使用最新版的操作系统。

3、做好随时更新JAVA版本和ES的版本的情况，因为每季度或是每年都会有新的版本出来。所以在做好版本更新的准备

4、测试从小到大，因为ES的强在多个节点的部署，一个节点是不足以测试出其性能，一个生产系统至少在三个节点以上。

5、测试JVM

6、如果索引有更新请记住对索引段的操作(index.merge.policy.segments_per_tier)

7、在性能调优之前，请先确定系统的最大性能和最大吞吐量

8、启用日志记录对JAVA垃圾回怍机制，有助于更好的诊断，以至于来调整你的系统

9、提高CMS垃圾收集器,您可以添加一个合理的- xx:CMSWaitDuration参数

10、如果堆大小趣过6-8GB,请选择使用CMS

jgwei
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
人工智能-项目实践-检索引擎-基于ElasticSearch的海量文本检索系统
02-27
基于ElasticSearch的海量文本检索系统 基于ElasticSearch的海量文本检索系统，目前支持txt, doc, docx, pdf, ppt格式文本上传及全文查询，本项目作为本人的毕业设计
ElasticSearch 学习之 自定义JVM参数
m0_67402588的博客
04-01 2749
官方文档 官方说明：一般很少需要修改JVM参数，如果要修改的话很有可能是设置堆大小，以下是几种修改jvm参数的方式。 方式1（推荐）:将自定义的jvm参数文件放到config/jvm.options.d/目录下，文件名按字典序加载，eg:a.options>b.options 这种方式是官方比较推荐的，自定义的jvm参数文件名必须以".options"作为后缀，可以添加多个自定义文件，加载.options的顺序是文件名的字段序，所以如果你想要自定义文件覆盖config/jvm.options中的参数，
ElasticSearch中的JVM性能调优
javalingyu的博客
05-05 3062
ElasticSearch6.3.2 中的JVM性能调优 前一段时间被人问了个问题：在使用ES的过程中有没有做过什么JVM调优措施？ 在我搭建ES集群过程中，参照important-settings官方文档来的，并没有对JVM参数做过多的调整。但谈到JVM配置参数，少不了操作系统层面上的一些配置参数，比如 page cache 和文件描述符的个数：(/etc/security/limits.conf)。另外ES jvm.options配置文件也针对JVM参数做了一些优化，这里简要介绍一下ElasticS
ES 配置文件 jvm配置
weixin_44399790的博客
06-16 2564
elasticsearch.yml 设置最大分片数 （默认1000）： cluster.max_shards_per_node: 1000000 kibana 设置默认查询数量（深度分页问题） PUT movies/_settings { "index" : { "max_result_window" : 20000 } } jvm.options 设置堆内存大小 -Xms8g -Xmx8g jvm hea...
Elasticsearch配置文件介绍（1）——JVM选项和安全设置
qq_37107851的博客
04-27 2335
目录 配置文件 配置文件位置 配置文件格式 环境变量替代 群集和节点设置类型 设置JVM选项 安全设置 可重新加载的安全设置 审核安全设置 一般审核设置 审核事件设置 本地节点信息设置 审核日志文件事件忽略策略 配置文件 Elasticsearch提供了良好的默认值，只需要很少的配置。大多数设置都可以使用集群更新设置API在正在运行的集群上更改。 配置文件应包含特定于节点的设置（如node.name和path），或节点加入群集所需的设置，如cluster.name和netwo
人工智能-项目实践-信息检索-elasticsearch-python+flask 检索系统
最新发布
02-29
elasticsearch_python+flask 检索系统
log4j2-elasticsearch：Log4j2 Elasticsearch Appender插件
03-04
log4j2-elasticsearch概述 这是log4j2附加程序插件的父项目，能够将日志批量推送到Elasticsearch集群。 最新发布的代码（1.5.x）可用。 项目包括： log4j2-elasticsearch-core实现的框架提供程序 log4j2-elastic...
人工智能-项目实践-检索系统-基于 ElasticSearch 的文件检索系统
02-27
项目部署 1. 准备es环境 下载并安装elasticsSearch和kibana(非必须)，本文以7.5.0为基准配置。 安装中文分词ik-analysis
docker-elasticsearch-alpine:基于Alpine Linux的Elasticsearch Docker映像
05-22
docker-elasticsearch-alpine 基于Alpine Linux的 Docker映像目录 问题学分执照 为什么？ 比较图像尺寸： 官方Elasticsearch = 807 MB blacktop / elasticsearch = 289 MB blacktop版本小518 MB！ 依存关系高山的：...
elasticsearch 内存大小设置
fhw925464207的博客
06-06 2830
其中，jvm.options可以修改es运行时候的内存分配。打开jvm.options文件，我们可以发现默认设置的内存是4g。官方不建议直接修改jvm.options，而是复制jvm.options到jvm.options.d目录下，再修改。找到elasticsearch的安装目录，然后找到config文件夹，里面都是相关的配置文件。将内存修改为你想要的实际大小，保存，重新启动es即可。
elasticsearch性能优化
happylobster
01-26 1008
1. 多线程程序插入，可以根据服务器情况开启多个线程index   速度可以提高n倍, n>=2   2. 如果有多台机器，可以以每台设置n个shards的方式，根据业务情况，可以考虑取消replias   curl -XPUT 'http://10.1.*.*:9200/dw-search/' -d '{       "settings" : {           "number
ElasticSearch7.x集群搭建(es7)主从读写分离搭建教程
09-19
适用人群 开发从业人员，大数据从业人员，运维从业人员，IT相关从业人员，想快速掌握技能的一切人员课程概述 ElasticSearch7.x集群？Elasticsearch-head7.x官网都没有的插件整合？cerebro插件酷炫暗黑插件神器？一次搞定官网版本 主从读写 中文分词 Head插件 cerebro插件
ES 堆对外内存溢出
qqqq0199181的博客
03-18 3387
异常： java.lang.OutOfMemoryError: Direct buffer memory 解决 将ES的jvm参数配置中的-XX:+DisableExplicitGC去掉，因为这个参数可能会导致对外内存的垃圾无法被回收。具体原因分析看如下： -XX:+DisableExplicitGC 与对外内存的关系：https://iamzhongyong.iteye.com/blog/17...
ES内存那点事
热门推荐
很多时候，你缺少的不是知识而是热情
01-13 1万+
“该给ES分配多少内存？”  “JVM参数如何优化?“ “为何我的Heap占用这么高？” “为何经常有某个field的数据量超出内存限制的异常？“ “为何感觉上没多少数据，也会经常Out Of Memory？” 以上问题，显然没有一个统一的数学公式能够给出答案。 和数据库类似，ES对于内存的消耗，和很多因素相关，诸如数据总量、mapping设置、查询方式、查询频度等等。默认的设置虽开
Elasticsearch 集群优化篇
weixin_33895604的博客
03-18 629
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 ES5.2.1 集群部署参考：htt...
es 内存大小设置
qq690452074的专栏
12-17 9141
   
elasticsearch7.3 在启动时设置heap的大小
zhangxiaohui4445的博客
09-11 3128
es节点的默认的heap内存大小是 1G 大小，在实际生产中，很容易导致内存溢出而导致进程被kill掉。所以我们一般会自己配置自己的，以前的版本可以通过export ES_HEAP_SIZE=10g或者./bin/elasticsearch -Xmx10g -Xms10g来设置自己的堆内存的大小，在新的版本使用上述命令会设置不成功。 查询官网后得知可以通过如下命令进行设置 ES_JAVA_OP...
配置Elasticsearch heap size JVM内存分配官方文档
扎克begod的专栏
11-19 4510
https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html Setting the heap size 默认1G        By default, Elasticsearch tells the JVM to use a heap with a minimum and maximum size...
spring-boot-starter-data-elasticsearch 和es版本对应关系
07-15
spring-boot-starter-data-elasticsearch 的版本与 Elasticsearch 的版本对应关系如： - spring-boot-starter-data-elasticsearch 3.x.x 对应 Elasticsearch 7.x.x - spring-boot-starter-data-elasticsearch 4.x.x...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值